文｜尚恩

編輯｜鄧詠儀

字節(jié)正在跑步AI化，產(chǎn)品側(cè)剛剛宣布對外測試AI對話產(chǎn)品豆包，又接連一口氣在Github上發(fā)布兩個AI視頻項目。一個主多模態(tài)動畫生成，另一個則專注文本導(dǎo)向的視頻編輯。

目前在Github上，兩個項目加起來已經(jīng)拿到1000+星。

來源：公開網(wǎng)絡(luò)

不僅如此，還引來大批網(wǎng)友圍觀，有人就直接表示：“一直想在TikTok火，有了AI這下可好辦了”！

來源：Dave Villalva推特

目前，字節(jié)的這倆項目雖已上傳GitHub和arxiv，但還沒有公開代碼，所以想上手玩還得稍等等了。

對此就有不少網(wǎng)友已經(jīng)等不及，在線求代碼中…

來源：Don Jose Valle推特

話不多說，來具體看看這倆AI視頻生成項目的細節(jié)。

AI捕捉運動信號，一鍵生成視頻

MagicAvatar由字節(jié)跳動開發(fā)，是一款主打多模態(tài)輸入生成的多模態(tài)框架，可以將文本、視頻和音頻等不同輸入方式轉(zhuǎn)化為動作信號，從而生成和動畫化一個虛擬人物。

具體來說，通過簡單的文本提示就能創(chuàng)建虛擬人物，也可以根據(jù)源視頻生成跟隨給定動作生產(chǎn)，還能對特定主題的虛擬人物進行動畫化。

比如，輸入“一個在火山里踢踏舞的宇航員”就能生成一個相應(yīng)的虛擬形象。

來源：MagicAvatar

或者直接提供一個源視頻，然后AI就會創(chuàng)建一個跟隨給定動作的形象。

來源：MagicAvatar

看過生成效果，不少網(wǎng)友驚呼，Runway的Gen-1、Gen-2不香了！

來源：推特

根據(jù)字節(jié)團隊的解釋，相比以往直接從多模態(tài)輸入生成視頻，MagicAvatar獨特之處主要是將視頻生成明確分解為兩個階段。

第一階段，主要將多模態(tài)輸入（文本、視頻、語音等）轉(zhuǎn)換為表示運動的信號，如人體姿態(tài)、深度信息、DensePose等。第二階段，則是將第一階段生成的運動信號與外觀描述一起輸入到模型，然后生成視頻。

這里提一嘴，DensePose是一種計算機視覺技術(shù)，用于將人體在圖像上的姿態(tài)信息與一個3D人體模型進行關(guān)聯(lián)。

來源：MagicAvatar

比如，我們想生成一個“女子交叉手臂在舞池跳舞”的視頻，直接把提示詞投喂給AI，AI會先識別生成交叉手臂的動作，然后再生成目標形象。

這樣做的好處優(yōu)勢在于降低了學習難度，不同模態(tài)之間不僅可以使用獨立的數(shù)據(jù)進行訓(xùn)練，且不需要所有模態(tài)都同時存在的數(shù)據(jù)集。

另外，MagicAvatar還支持用戶上傳目標人物的圖片，來為特定人物生成動畫，實現(xiàn)個性化需求。

來源：MagicAvatar

未來研究團隊表示，還將推出音頻引導(dǎo)形象生成的功能，到時候用戶只用通過音頻輸入就能創(chuàng)建形象，比如說話、唱歌。

三階段訓(xùn)練，AI高保真編輯

MagicEdit是一個文生視頻的編輯工具。用戶只需要自然語言提示，就能輕松地改變視頻的風格、場景甚至替換視頻里的對象或添加元素，同時保持原視頻的動作和外觀一致，還可以通過視頻混合功能創(chuàng)造出新穎的概念。

比如，把左邊這只小兔子變成一個像兔子的老虎，直接提示Tiger就搞定。

OS：（雖然看著有點怪，不過意思是到了…）

來源：MagicEdit

具體來說，MagicEdit可以清晰地分離視頻對象的外觀和動作并進行學習，實現(xiàn)了高質(zhì)量和時間連貫的視頻編輯。它能夠獨立地處理和優(yōu)化這兩個方面，然后再將它們合成到一個新的完整的視頻中。這樣做的好處是，編輯過程更加靈活和高效，同時也能保證視頻的質(zhì)量和時間連貫性。

來源：MagicEdit

比如，你正在編輯一個視頻，其中有一個人在跳舞，外觀就是這個人的衣服、發(fā)型、臉型等，而動作就是他跳舞的動作。

來源：MagicEdit

簡單來說，MagicEdit就像是一個聰明的導(dǎo)演，它能分別調(diào)整這個人的衣服和跳舞動作，然后再把這兩者完美地結(jié)合在一起，按照不同個性化需求生成新的視頻。

新視頻可能背景、場景和風格不一樣了，但是保持了原視頻的人物外觀和動作，同時整個視頻看起來既漂亮又流暢。

來源：公開網(wǎng)絡(luò)

目前，MagicEdit支持多種編輯應(yīng)用，包括視頻風格化、局部編輯、視頻混合（Video-MagicMix等功能。視頻風格化就是能夠?qū)⒃匆曨l轉(zhuǎn)換成具有特定風格，創(chuàng)建具有不同主題和背景的新場景，比如現(xiàn)實、卡通等。

來源：MagicEdit

局部編輯則允許用戶對視頻進行局部修改，同時保持其他區(qū)域不變。視頻混合（Video-MagicMix）就類似于MagicMix，可以在視頻領(lǐng)域內(nèi)混合兩個不同的概念，以創(chuàng)建一個新的概念。

除此以外，MagicEdit還支持視頻擴展功能，可以在不重新訓(xùn)練的情況下進行視頻擴展任務(wù)。

來源：MagicEdit

按照以前的邏輯，視頻擴展通常需要針對此任務(wù)特別訓(xùn)練模型或微調(diào)，靈活性比較差。

因此研究團隊，通過在去噪過程中靈活注入反向潛碼（inverse latent）和隨機噪聲，這樣可以保證已知區(qū)域不變，未知區(qū)域生成新的內(nèi)容，然后無需重新訓(xùn)練就可以直接生成符合提示的新內(nèi)容，極大提高了視頻擴展比例的魯棒性。

字節(jié)海外出品

根據(jù)論文顯示，這兩個AI視頻項目都是由字節(jié)的科學家共同發(fā)表，其中五位作者中有四人來自中國，且都曾在字節(jié)實驗室做過研究或?qū)嵙暋?/p>

通訊作者嚴漢書（Hanshu YAN）是字節(jié)跳動新加坡的研究科學家，致力于視頻/圖像生成模型。

他本科畢業(yè)于北京航空航天大學電氣工程專業(yè)，碩士和PhD都在新加坡國立大學，曾在新加坡海洋人工智能實驗室（Sea AI Lab）實習。

來源：Hanshu YAN

Jun Hao Liew是字節(jié)跳動新加坡的計算機視覺科學家，他本科畢業(yè)于英國倫敦大學學院（UCL）的電子電氣工程專業(yè)，碩士和PhD則是在新加坡國立大學就讀，曾在Adobe實習。據(jù)Google Scholar顯示，目前其論文引用量已經(jīng)有1400多。

來源：GoogleScholar

其他幾位作者，也都是在新加坡讀博，并在字節(jié)跳動新加坡參與科研。

加速布局AI視頻

2023年的字節(jié)跳動在AI領(lǐng)域的布局，確實可以用加速跑來形容。

從近期大模型云雀獲批，到剛剛對外測試AI對話產(chǎn)品的豆包，以及6月字節(jié)跳動旗下火山引擎發(fā)布大模型服務(wù)平臺“火山方舟”，面向企業(yè)提供模型精調(diào)、評測、推理等全方位的平臺服務(wù)。

來源：火山引擎

而作為一家以短視頻起家的互聯(lián)網(wǎng)公司，除了深耕TikTok、抖音等平臺外，視頻一直是字節(jié)的強關(guān)注領(lǐng)域。

比如今年4月字節(jié)就在美國上架了一款以照片、視頻為主的應(yīng)用程序Lemon8，類似于海外的Instagram和Pinterest的混合體。除此以外，字節(jié)跳動旗下的另一款視頻編輯工具“CapCut”，在蘋果應(yīng)用商店中被列為美國最受歡迎的應(yīng)用軟件之一。

雖然短視頻業(yè)務(wù)市場占有率不低，但要論擁抱AI的速度，字節(jié)確實說不上快。對比之下，前段時間美圖發(fā)布2023上半年財報，得益于AI視頻、繪圖等AIGC功能的推出，總收入12.61億人民幣，同比增長了29.8%。

The Information此前報道表示，字節(jié)跳動2022年總收入達到了850億美元，同比增長38%，主要收入來自TikTok、視頻游戲和企業(yè)軟件等，AI還未能給字節(jié)帶來任何巨大收益。

長按添加「智涌」小助手入群， 備注：公司+職務(wù)