亚洲AV免费看深爱成人|日韩av另类一级特黄片在线|中国免费一级黄片|国产av一二三区|亚洲有码AV在线|久久亚洲国产日韩欧美|成人免费AV网站|婷婷一区综合一区|亚洲AV无码导航|高级欧美成人网站

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

AI視頻生成模型Sora的革新之路

發(fā)布時間：2024-06-03 20:02:38 瀏覽量：215次

2 月16 日凌晨，OpenAI 在 AI 生成視頻領(lǐng)域扔出一枚“王炸”，發(fā)布了首個文生視頻大模型 Sora。這一模型可以根據(jù)提示詞生成長達(dá)一分鐘的高清視頻。

在 OpenAI 官網(wǎng)分享的演示視頻中，Sora 可以直接輸出有多個角色、多種場景和運(yùn)鏡的畫面。比如這個好萊塢大片質(zhì)感的電影預(yù)告片：

這對比一年前 AI 生成的視頻，兩者簡直是天差地別，就長度方面就“碾壓”了行業(yè)目前大概只有平均“4s”的視頻生成長度。

不少網(wǎng)友看完后，直呼：這不得整個行業(yè)消亡，要失業(yè)了！

也有人有個大膽的想法，但是老狐告訴大家，不要有這個想法，這個功能實(shí)現(xiàn)不了！因?yàn)?OpenAI 在文檔里強(qiáng)調(diào)了生成內(nèi)容的安全性。

今天就跟著老狐一起來看看 Sora 優(yōu)勢是什么？還存在什么不足？怎么才能用上它？

Sora 優(yōu)勢是什么？

在 AI 行業(yè)，根據(jù)文本自動生成視頻，不算新鮮事。但是，Sora 的問世，之所以被稱為“王炸”，主要實(shí)現(xiàn)了以下幾點(diǎn)突破：

1. 生成高質(zhì)量的長視頻內(nèi)容

正如前文所提到的，Sora 能夠生成長達(dá) 1 分鐘的超長視頻，相比之下，Runway-gen2 的 18 秒和 Pika 的 3 秒，真的是按在地上摩擦。

比如上面這段生成的視頻，不僅主體連貫穩(wěn)定，還有多鏡頭，包括從大街景慢慢切入到對女士的臉部表情的特寫，以及潮濕的街道地面反射霓虹燈的光影效果。除了腿部切換不自然，幾乎可以以假亂真。這 1 分鐘一鏡到底，可以說這表現(xiàn)力比有些演員都強(qiáng)。

再說到 Sora 創(chuàng)作的視頻質(zhì)量，無論是高清度還是還原度，都是可圈可點(diǎn)的。比如下面這個視頻中，行駛中的列車窗上的影像顯示十分細(xì)節(jié)，此外偶遇遮擋，車內(nèi)人物倒影之后也能短暫出現(xiàn)。

又比如人物的眼睛，神情動態(tài)之難，往往成為 AI 創(chuàng)作的壁壘。

但就上面 Sora 生成的視頻來看，可以說細(xì)節(jié)滿滿，幾乎看不出什么破綻。這樣的視頻，哪怕是頂級動畫制作公司可能都需要數(shù)日時間，而 Sora 只需要幾分鐘搞定。

2. 理解長文本能力

Sora 不僅完美繼承 DALL·E 3 的畫質(zhì)和遵循指令能力，還能根據(jù)詳細(xì)的文本指令生成具有詳盡細(xì)節(jié)的視頻內(nèi)容。

要知道以往的 AI 視頻生成，只能一板一眼地照本宣科翻譯提供的文案，而 Sora 已經(jīng)開始理解文案，并基于文案自己進(jìn)行發(fā)揮和拓展。

如上方 Sora 以“色彩繽紛的魚類和海洋生物充斥的，由紙藝精心構(gòu)建的珊瑚礁世界”為主題的視頻中， Sora 通過其攝影角度和拍攝時機(jī)，成功地推進(jìn)了故事的發(fā)展。視頻中實(shí)際上發(fā)生了多次鏡頭轉(zhuǎn)換，這些沒有特別指令它這么做，它卻能自動完成。

3. 創(chuàng)新視頻生成模式

以往的 AI 生成視頻都是文本生成視頻，但 Sora 還能接受其他類型的輸入提示。比如，先給 Sora 一個 Dall E 生成的小狗照片，它就能讓小狗動起來。

此外，Sora 還能在時間維度上實(shí)現(xiàn)向前或向后的無限擴(kuò)展，也就是說給 Sora 一段視頻，它可以自動生成前面或后面的視頻。

比如，上面這三個視頻，給了它一個結(jié)尾讓 Sora 生成開頭，可以看到每個開頭都不一樣，但是結(jié)尾最終都是一樣的。

不知道多少小伙伴和老狐一樣曾經(jīng)幻想過一鍵切換視頻背景，這不 Sora 就幫忙實(shí)現(xiàn)了。它可以參考原視頻，把視頻中的一些畫面生成出你想要的內(nèi)容，比如說是更換環(huán)境啊，像森林、水下，甚至整個場景主題。

令人眼前一亮的是，Sora 的視頻拼接功能，你可以把多個視頻給 Sora 參考，讓它將多個毫無關(guān)系的畫面組合到一起?？梢哉f銜接還是比較絲滑的。

4. 始終保持 3D 一致性

用過其他視頻生成工具的朋友肯定知道，我們?yōu)榱吮M量讓視頻畫面不分，就要減少鏡頭的移動和旋轉(zhuǎn)。

不過使用 Sora 我們可以不用擔(dān)心這個問題，因?yàn)樗傻娜宋锖蛨鼍霸卦谌S空間中的位置關(guān)系能夠保持一致的運(yùn)動，都將持續(xù)保持一致性。此外，人物、動物和物體即使在被遮擋或離開畫面后，仍能被準(zhǔn)確地保存和呈現(xiàn)。

5. 與世界互動，畫面有物理交互反饋

老狐覺得這一點(diǎn)或許是 Sora 最可怕的功能?，F(xiàn)今的 Sora 能夠模擬一些對世界狀態(tài)有簡單影響的行為。例如，畫家在畫布上留下新的筆觸，這些筆觸會隨時間推移而持續(xù)存在。

綜上看來，Sora 著實(shí)是對之前的 AI 視頻生成系統(tǒng)的前輩們來了一波降維打擊。

Sora 目前的不足

當(dāng)然也并不是說 Sora 十分完美，目前看來還存在諸多不足。

一是該模型混淆提示的空間細(xì)節(jié)，并且難以準(zhǔn)確的描述復(fù)雜場景中的物理現(xiàn)象。

比如這個視頻老人吹蠟燭前后火苗居然沒有絲毫的變化，不合常理。

熱門課程推薦

熱門資訊

請綁定手機(jī)號

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定