發(fā)布時(shí)間:2024-05-19 10:40:07 瀏覽量:184次
Sora憑借驚艷的視頻生成效果和分鐘級(jí)的時(shí)長(zhǎng)引領(lǐng)市場(chǎng)。前述視頻生成模型所遇到的問(wèn)題在Sora誕生后出現(xiàn)根本改變。最新2024年凌晨,OpenAI發(fā)布了文生視頻大模型Sora,能夠根據(jù)用戶提供的文本描述生成長(zhǎng)達(dá)60秒的視頻,同時(shí)視頻精準(zhǔn)反應(yīng)提示詞內(nèi)容,復(fù)雜、逼真、效果驚艷,引燃市場(chǎng)熱情。
Sora生成東京街頭女士,場(chǎng)景復(fù)雜
對(duì)比其他的視頻生成工具,Sora的性能優(yōu)異呈現(xiàn)出碾壓式的優(yōu)勢(shì)。
視頻時(shí)長(zhǎng):可生成長(zhǎng)達(dá)1分鐘的視頻,并且品質(zhì)優(yōu)異、內(nèi)容穩(wěn)定;
場(chǎng)景復(fù)雜內(nèi)容逼真:可生成主題精確背景細(xì)節(jié)復(fù)雜的場(chǎng)景,視頻效果逼真。
語(yǔ)言理解能力優(yōu)異:能深入理解提示詞并且精準(zhǔn)、忠實(shí)表達(dá)。
靈活度高:可隨意生成不同時(shí)長(zhǎng)、長(zhǎng)寬比、分辨率的視頻。
Sora是擴(kuò)散模型和Transformer以及視頻壓縮網(wǎng)絡(luò)的綜合體。Sora的主干網(wǎng)絡(luò)是Diffusion Transformer模型,在訓(xùn)練過(guò)程中采用了特殊設(shè)計(jì)的編碼器將圖像和視頻信息進(jìn)行編碼,之后將視頻數(shù)據(jù)壓縮為隱變量,輸入Diffusion Transformer模型中對(duì)模型進(jìn)行訓(xùn)練。推理的過(guò)程中,將自然語(yǔ)言(文字)或者圖像乃至視頻作為提示詞輸入到模型中,通過(guò)擴(kuò)散模型輸出相應(yīng)的去噪之后的隱變量并通過(guò)解碼器將信息解碼成為視頻,即可輸出品質(zhì)優(yōu)越的視頻結(jié)果。
起于視頻生成,邁向世界模擬器
在對(duì) Sora 進(jìn)行大規(guī)模訓(xùn)練的過(guò)程中,OpenAI還發(fā)現(xiàn)模型具有更多的能力,即對(duì)現(xiàn)實(shí)世界的基礎(chǔ)規(guī)律產(chǎn)生一定的理解。這使得它可以模擬現(xiàn)實(shí)世界中的人物、動(dòng)物、環(huán)境等。
空間一致性:Sora能夠生成帶有動(dòng)態(tài)攝像頭的運(yùn)動(dòng)視頻,隨著攝像頭的移動(dòng)和旋轉(zhuǎn),人物和場(chǎng)景元素在三維空間中始終保持一致的運(yùn)動(dòng)規(guī)律。
時(shí)間一致性:在Sora生成的長(zhǎng)視頻中,元素之間通常保持較好的時(shí)空一致性,如即使動(dòng)物被遮擋,或離開(kāi)畫(huà)面,在后續(xù)的視頻中仍然能被較好的呈現(xiàn)。
因果一致性:Sora生成的視頻可呈現(xiàn)一定的因果關(guān)系。比如畫(huà)家可在畫(huà)布上留下筆觸,人吃漢堡也能在漢堡上留下痕跡。
Sora還能夠模擬人工過(guò)程,如視頻游戲,可用基本策略控制《我的世界》,無(wú)需特殊的微調(diào),在Sora中提示“我的世界”即可實(shí)現(xiàn)。
想學(xué)習(xí)更多關(guān)于視頻制作的技能嗎?快來(lái)火星時(shí)代教育,我們提供游戲設(shè)計(jì)培訓(xùn)、動(dòng)畫(huà)培訓(xùn)、AI音樂(lè)創(chuàng)作培訓(xùn)等課程,點(diǎn)擊咨詢,開(kāi)啟你的數(shù)字藝術(shù)之旅!
熱門(mén)資訊
1. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
2. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
3. 照片變漫畫(huà)效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫(huà)效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
4. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開(kāi)網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開(kāi)始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
5. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
6. 零基礎(chǔ)10分鐘生成漫畫(huà),教大家如何用AI生成自己的漫畫(huà)
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫(huà)。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫(huà)作品。讓...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫(huà)的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫(huà)軟件,提供詳細(xì)操作!有需要的快來(lái)...
8. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
9. 10個(gè)建筑AI工具,從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒(méi)聽(tīng)過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
10. Logo Diffusion——基于sd繪畫(huà)模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
最新文章
同學(xué)您好!