火星網校
用視覺來做Prompt！沈向洋展示IDEA研究院新模型，無需訓練或微調，開箱即用
發(fā)布時間：2023-11-27 12:04:58 瀏覽量：133次
整場大會干貨滿滿
白交 發(fā)自 凹非寺
|
用視覺來做Prompt，是種什么體驗？
只需在圖里隨便框一下，結果秒秒鐘圈出同一類別！
即便是那種GPT-4V都難搞定的數米粒的環(huán)節(jié)。只需要你手動拉一下框，就能找出所有米粒來。
新的目標檢測范式，有了！
剛剛結束的IDEA年度大會上，IDEA研究院創(chuàng)院理事長、美國國家工程院外籍院士沈向洋展示了最新研究成果——
基于視覺提示（Visual Prompt）模型T-Rex。
整個流程交互，開箱即用，只需幾步就可以完成。
此前，Meta開源的SAM分割一切模型，直接讓CV領域迎來了GPT-3時刻，但仍是基于文本prompt的范式，在應對一些復雜、罕見場景就會比較難辦。
現在以圖換圖的方式，就能輕松迎刃而解。
除此之外，整場大會也是干貨滿滿，比如Think-on-Graph知識驅動大模型、開發(fā)者平臺MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU機密計算協處理器、可控人像視頻生成平臺HiveNet等等。
最后，沈向洋還分享了過去幾年時間花時間最多的一個項目：低空經濟。
我相信當低空經濟發(fā)展到相對成熟時，同一個時間點，在深圳的天空中每天有10萬架無人機，每天飛起來的有百萬架無人機。
用視覺來做Prompt
除了基礎的單輪提示功能，T-Rex還支持三種進階模式。
- 多輪正例模式
有點像多輪對話，以得出更為精確的結果，不至于出現漏檢的情況。
- 正例+負例模式
適用于視覺提示帶有二義性造成誤檢的場景。
* 跨圖模式。
用單張參考圖提示，來檢測其他的圖。
據介紹，T-Rex不會受到預定義類別限制，能夠利用視覺示例指定檢測目標，這樣一來就克服有些物體難以用文字充分表達的問題，以提高提示效率。尤其像一些工業(yè)場景中的復雜組件等。
除此之外，通過與用戶交互的方式，也可以隨時快速地評估檢測結果，并進行糾錯等。
T-Rex主要由三個組件組成：圖像編碼器、提示編碼器以及框解碼器。
這項工作來自IDEA研究院計算機視覺與機器人研究中心。
該團隊此前開源的目標檢測模型DINO是首個在COCO目標檢測上取得榜單第一的DETR類模型；在Github上大火（至今狂攬11K星）的零樣本檢測器Grounding DINO與能夠檢測、分割一切的Grounded SAM。更多技術細節(jié)可戳文末鏈接。
整場大會干貨滿滿
除此之外，IDEA大會上還重點分享了幾個研究成果。
比如Think-on-Graph知識驅動大模型，簡單來說就是將大模型與知識圖譜結合。
大模型擅長意圖理解和自主學習，而知識圖譜因其結構化的知識存儲方式，更擅長邏輯鏈條推理。
Think-on-Graph通過驅動大模型agent在知識圖譜上“思考”，逐步搜索推理出最優(yōu)答案（在知識圖譜的關聯實體上一步一步搜索推理）。每一步推理中，大模型都親自參與，與知識圖譜相互取長補短。
MoonBit月兔，這是由Wasm驅動，專為云計算與邊緣計算設計的開發(fā)者平臺。
它不僅提供通用程序語言設計，還整合了編譯器、構建系統(tǒng)、集成開發(fā)環(huán)境（IDE）、部署工具等版塊，來提升開發(fā)體驗與效率。
此前發(fā)布的科研神器ReadPaper也更新至2.0，發(fā)布會現場演示了閱讀copilot、潤色copilot等新功能。
發(fā)布會最后，沈向洋發(fā)布《低空經濟發(fā)展白皮書——深圳方案》，在其智能融合低空系統(tǒng)（Smart Integrated Lower Airspace System，SILAS）中，提出時空進程（Temporal Spatial Process）新概念。
T-Rex鏈接：
https://trex-counting.github.io/
熱門課程推薦
熱門資訊
-
1. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術尤為引人注目。只需在特定軟件中輸入關鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現，快來嘗試一下吧！
-
4. 一款免費無限制的AI視頻生成工具火了!國內無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
以下是一些免費的AI視頻制作網站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉換為視頻。 用戶可以使...
-
6. 零基礎10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
就能快速生成一幅極具藝術效果的作品,讓現實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
-
8. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
9. 10個建筑AI工具，從設計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設計、建筑方案設計、住宅設計、管道設計、出渲染圖、3D掃...
-
10. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關于怎么樣利用AI來提高生產效率、還能做什么AI...
最新文章
