亚洲AV免费看深爱成人|日韩av另类一级特黄片在线|中国免费一级黄片|国产av一二三区|亚洲有码AV在线|久久亚洲国产日韩欧美|成人免费AV网站|婷婷一区综合一区|亚洲AV无码导航|高级欧美成人网站

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

探秘AI文生視頻背后的技術(shù)奧秘 | 火星時(shí)代教育

發(fā)布時(shí)間：2024-05-18 10:24:44 瀏覽量：186次

新年還沒過完，AI屆又發(fā)生了轟轟烈烈的事情，由openai實(shí)現(xiàn)的文生視頻火遍了全網(wǎng)，那你知道它背后都是什么樣的技術(shù)邏輯嗎？

實(shí)現(xiàn)原理

具體來說，在可變持續(xù)時(shí)間、分辨率和寬高比的視頻和圖像上聯(lián)合訓(xùn)練文本條件擴(kuò)散模型。他們利用transformer架構(gòu)，在視頻和圖像潛在代碼的時(shí)空補(bǔ)丁上運(yùn)行。最大的模型Sora能夠生成一分鐘的高保真視頻。其結(jié)果表明，縮放視頻生成模型是構(gòu)建物理世界通用模擬器的一條有希望的道路。

將視覺數(shù)據(jù)轉(zhuǎn)化為補(bǔ)丁

從大型語言模型中汲取靈感，這些模型通過互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)培訓(xùn)獲得通才能力。我們發(fā)現(xiàn)，補(bǔ)丁是一種高度可擴(kuò)展和有效的表示，用于訓(xùn)練不同類型的視頻和圖像的生成模型。

視頻壓縮網(wǎng)絡(luò)

訓(xùn)練一個(gè)減少視覺數(shù)據(jù)維度的網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)將原始視頻作為輸入，并輸出一個(gè)在時(shí)間和空間上壓縮的潛在表示。Sora接受訓(xùn)練，并隨后在這個(gè)壓縮的潛在空間中生成視頻。我們還訓(xùn)練了一個(gè)相應(yīng)的解碼器模型，將生成的潛在映射回像素空間。

時(shí)空潛伏補(bǔ)丁

給定一個(gè)壓縮的輸入視頻，提取一系列作為Transformer Token的時(shí)空補(bǔ)丁。此方案也適用于圖像，因?yàn)閳D像只是單幀的視頻?；谘a(bǔ)丁的表示使Sora能夠?qū)勺兎直媛省⒊掷m(xù)時(shí)間和寬高比的視頻和圖像進(jìn)行訓(xùn)練。

用于視頻生成的縮放Transformer

Sora是一個(gè)擴(kuò)散模型；給定輸入嘈雜的補(bǔ)?。ㄒ约拔谋咎崾镜日{(diào)理信息），它經(jīng)過訓(xùn)練來預(yù)測原始的“干凈”補(bǔ)丁。Sora的技術(shù)能夠有效擴(kuò)展視頻模型，在不同設(shè)備上創(chuàng)建內(nèi)容，并提高視頻質(zhì)量。

在這項(xiàng)工作中，發(fā)現(xiàn)擴(kuò)散Transformer作為視頻模型也能有效擴(kuò)展。隨著培訓(xùn)的進(jìn)行，展示了視頻樣本與固定種子和輸入的比較。隨著訓(xùn)練計(jì)算的提高，樣本質(zhì)量顯著提高。

可變持續(xù)時(shí)間、分辨率、寬高比

過去的圖像和視頻生成方法通常將視頻大小、裁剪或修剪為標(biāo)準(zhǔn)尺寸。Sora具有采樣靈活性，能夠生成不同分辨率、持續(xù)時(shí)間和寬高比的視頻，適應(yīng)不同的設(shè)備和需求。

我們實(shí)證地發(fā)現(xiàn)，以原生寬高比進(jìn)行視頻訓(xùn)練可以改善構(gòu)圖和構(gòu)圖。Sora能夠有效地改變視頻風(fēng)格和環(huán)境，提高視頻的審美質(zhì)量。

訓(xùn)練文本到視頻生成系統(tǒng)需要大量帶有相應(yīng)文本字幕的視頻。我們將重新字幕技術(shù)應(yīng)用于視頻，以提高文本保真度和視頻質(zhì)量。

新興的模能力

視頻模型表現(xiàn)出許多有趣的緊急能力，使Sora成為物理世界與數(shù)字世界模擬的強(qiáng)大工具。這些能力包括3D一致性、長期連貫性、對象持久性以及與世界的互動(dòng)等。

雖然目前sora僅僅開放給個(gè)別人，不過可以預(yù)見的是，全民開放僅僅是時(shí)間問題。未來已來，你準(zhǔn)備好迎接了嗎？

熱門課程推薦

熱門資訊

請綁定手機(jī)號

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請保持電話暢通！
確定