亚洲AV免费看深爱成人|日韩av另类一级特黄片在线|中国免费一级黄片|国产av一二三区|亚洲有码AV在线|久久亚洲国产日韩欧美|成人免费AV网站|婷婷一区综合一区|亚洲AV无码导航|高级欧美成人网站

高校合作1：010-59833514 ?咨詢(xún)電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

國(guó)內(nèi)科研團(tuán)隊(duì)推出視頻生成新利器，Latte帶來(lái)新體驗(yàn)

發(fā)布時(shí)間：2024-05-20 16:50:03 瀏覽量：172次

哎呀，來(lái)來(lái)來(lái)，一直這兩天全網(wǎng)都在熱議那個(gè)爆火的Sora，現(xiàn)在讓我們關(guān)注國(guó)內(nèi)。就在前兩天，Latte發(fā)布了，而且有源碼，可復(fù)現(xiàn)！

中國(guó)的研究團(tuán)隊(duì)真是厲害，推出了這么厲害的東西。前幾天剛剛有一個(gè)爆火的視頻生成模型Sora，這不，我們中國(guó)也有了自己的視頻生成模型。

這篇文章的核心就是提出了一個(gè)新的想法，名叫Latent Diffusion Transformer，簡(jiǎn)稱(chēng)Latte，主打視頻生成。先是從視頻里摳出來(lái)一堆時(shí)空token，然后通過(guò)一系列的Transformer模塊，在所謂的潛在空間里模仿視頻分布。因?yàn)橐曨l里的token實(shí)在是多得很，他們還特別設(shè)計(jì)了四個(gè)高效的變種，這樣更好地處理視頻的空間和時(shí)間維度。

為了讓生成的視頻更加優(yōu)質(zhì)，團(tuán)隊(duì)進(jìn)行了一系列嚴(yán)格的實(shí)驗(yàn)分析，確定了Latte的最佳操作方式，包括怎樣嵌入視頻片段、選擇模型變種、注入時(shí)間步信息、使用時(shí)間位置嵌入和學(xué)習(xí)策略等等。

綜合評(píng)估表明，Latte在多個(gè)標(biāo)準(zhǔn)視頻生成數(shù)據(jù)集上都表現(xiàn)得非常出色，比如FaceForensics、SkyTimelapse、UCF101和Taichi-HD。而且，他們還將Latte應(yīng)用到了文本到視頻生成（T2V）任務(wù)上，與近期的T2V模型相比，Latte同樣表現(xiàn)不俗。

可以說(shuō)，Latte為未來(lái)的研究提供了重要的視角，即如何將Transformers與擴(kuò)散模型結(jié)合起來(lái)，用于視頻生成。

接下來(lái)讓我們看看這篇文章里的實(shí)驗(yàn)成果，令人印象深刻。首先，讓我們來(lái)談?wù)劅o(wú)條件生成。在Taichi-HD、FaceForensics、SkyTimelapse這三個(gè)數(shù)據(jù)集上，分辨率為256x256的視頻生成方面，Latte展現(xiàn)了出色的能力。不論是太極高清視頻、面部偽造檢測(cè)素材，還是天空的延時(shí)攝影，Latte都能生成出精美細(xì)致的視頻。

接著，我們看看條件生成，分為基于類(lèi)別和基于提示。基于類(lèi)別，給Latte一個(gè)標(biāo)簽比如“UCF101”，它就可以準(zhǔn)確生成出你想要的視頻，在UCF101數(shù)據(jù)集上表現(xiàn)出色。而基于提示的條件生成更加酷炫，只需簡(jiǎn)單描述，比如“夜幕下，一場(chǎng)史詩(shī)級(jí)的龍卷風(fēng)正襲擊著閃光的城市”，Latte都能輕松實(shí)現(xiàn)，充滿(mǎn)創(chuàng)意。

最后，和PVDM、DIGAN、LVDM、StyleGAN-V等現(xiàn)有技術(shù)相比，Latte在很多方面展現(xiàn)了更優(yōu)的性能，無(wú)論條件生成還是無(wú)條件生成，都展現(xiàn)出色，生成的視頻質(zhì)量讓人驚嘆。

中國(guó)的科研團(tuán)隊(duì)這次實(shí)力十足，展示了中國(guó)在AI視頻生成領(lǐng)域的強(qiáng)大實(shí)力和創(chuàng)新能力。這成果讓人對(duì)未來(lái)充滿(mǎn)了無(wú)限的想象和期待！

熱門(mén)課程推薦

熱門(mén)資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定