發(fā)布時間:2024-05-20 09:56:09 瀏覽量:126次
給機器人發(fā)命令,從沒這么簡單過。
我們知道,在掌握了網(wǎng)絡(luò)中的語言和圖像之后,大模型終究要走進(jìn)現(xiàn)實世界,「具身智能」應(yīng)該是下一步發(fā)展的方向。
把大模型接入機器人,用簡單的自然語言代替復(fù)雜指令形成具體行動規(guī)劃,且無需額外數(shù)據(jù)和訓(xùn)練,這個愿景看起來很美好,但似乎也有些遙遠(yuǎn)。畢竟機器人領(lǐng)域,難是出了名的。
然而 AI 的進(jìn)化速度比我們想象得還要快。
谷歌 DeepMind 宣布推出 RT-2:全球第一個控制機器人的視覺 - 語言 - 動作(VLA)模型。

RT-2 到達(dá)了怎樣的智能化程度?DeepMind 研究人員用機械臂展示了一下,跟 AI 說選擇「已滅絕的動物」,手臂伸出,爪子張開落下,它抓住了恐龍玩偶。

在此之前,機器人無法可靠地理解它們從未見過的物體,更無法做把「滅絕動物」到「塑料恐龍玩偶」聯(lián)系起來這種有關(guān)推理的事。
跟機器人說,把可樂罐給泰勒?斯威夫特:
看得出來這個機器人是真粉絲,對人類來說是個好消息。
ChatGPT 等大語言模型的發(fā)展,正在為機器人領(lǐng)域掀起一場革命,谷歌把最先進(jìn)的語言模型安在機器人身上,讓它們終于擁有了一顆人工大腦。

谷歌高管稱,RT-2 是機器人制造和編程方式的重大飛躍?!赣捎谶@一變化,我們不得不重新考慮我們的整個研究規(guī)劃了。之前所做的很多事情都完全變成無用功了。」
RT-2 是如何實現(xiàn)的?
DeepMind 這個 RT-2 拆開了讀就是 Robotic Transformer —— 機器人的 transformer 模型。

RT-2 建立在視覺 - 語言模型(VLM)的基礎(chǔ)上,又創(chuàng)造了一種新的概念:視覺 - 語言 - 動作(VLA)模型,它可以從網(wǎng)絡(luò)和機器人數(shù)據(jù)中進(jìn)行學(xué)習(xí),并將這些知識轉(zhuǎn)化為機器人可以控制的通用指令。該模型甚至能夠使用思維鏈提示,比如哪種飲料最適合疲憊的人 (能量飲料)。

一系列結(jié)果表明,視覺 - 語言模型(VLM)是可以轉(zhuǎn)化為強大的視覺 - 語言 - 動作(VLA)模型的,通過將 VLM 預(yù)訓(xùn)練與機器人數(shù)據(jù)相結(jié)合,可以直接控制機器人。
和 ChatGPT 類似,這樣的能力如果大規(guī)模應(yīng)用起來,世界估計會發(fā)生不小的變化。不過谷歌沒有立即應(yīng)用 RT-2 機器人的計劃,只表示研究人員相信這些能理解人話的機器人絕不只會停留在展示能力的層面上。
簡單想象一下,具有內(nèi)置語言模型的機器人可以放入倉庫、幫你抓藥,甚至可以用作家庭助理 —— 折疊衣物、從洗碗機中取出物品、在房子周圍收拾東西。
它可能真正開啟了在有人環(huán)境下使用機器人的大門,所有需要體力勞動的方向都可以接手 —— 就是之前 OpenAI 有關(guān)的報告中,大模型影響不到的那部分,現(xiàn)在也能被覆蓋。
具身智能,離我們不遠(yuǎn)了?
最近一段時間,具身智能是大量研究者正在探索的方向。本月斯坦福大學(xué)李飛飛團隊就展示了一些新成果,通過大語言模型加視覺語言模型,AI 能在 3D 空間分析規(guī)劃,指導(dǎo)機器人行動。

預(yù)計在 8 月,稚暉君的公司即將對外展示最近取得的一些成果。
可見在大模型領(lǐng)域里,還有大事即將發(fā)生。
獲取最新AI頭條,請關(guān)注公眾號:AI每日推送
熱門資訊
1. 華為手機神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議,通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點擊查看!
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
想將照片變成漫畫效果?這篇文章分享了4個方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡單操作就能實現(xiàn),快來嘗試一下吧!
4. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
5. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
8. AI視頻制作神器Viggle:讓靜態(tài)人物動起來,創(chuàng)意無限!
Viggle AI是一款免費制作視頻的AI工具,能讓靜態(tài)人物圖片動起來,快來了解Viggle AI的功能和優(yōu)勢吧!
9. 10個建筑AI工具,從設(shè)計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設(shè)計、建筑方案設(shè)計、住宅設(shè)計、管道設(shè)計、出渲染圖、3D掃...
10. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
最新文章
同學(xué)您好!