發(fā)布時(shí)間:2024-06-16 13:11:54 瀏覽量:218次
如果只是作為駕駛模擬器,可能很平庸,但對(duì)電子游戲畫(huà)面來(lái)說(shuō),這可能是一場(chǎng)偉大的革命。
圖|真實(shí)視頻(左)和AI生成的渲染視頻(右)之間的對(duì)比。(圖源:英偉達(dá))
最近人工智能的繁榮給圖像和視頻生成領(lǐng)域帶來(lái)了一系列令人印象深刻的成果。最新成果來(lái)自芯片制造商英偉達(dá),該公司12月3日發(fā)布了一份研究報(bào)告,展示了AI生成的畫(huà)面如何與傳統(tǒng)的視頻游戲引擎相結(jié)合。這種混合圖形系統(tǒng)有望應(yīng)用到視頻游戲,電影和虛擬現(xiàn)實(shí)等方面。
英偉達(dá)的生成的圖片并沒(méi)有達(dá)到真實(shí)照片級(jí)的畫(huà)面,他們展示了在 AI 生成的圖像中發(fā)現(xiàn)的一些水印狀的模糊。并且這一工作也不是完全創(chuàng)新的。在一篇研究論文中,該公司的工程師解釋了他們?nèi)绾位谝恍┈F(xiàn)有方法,包括一個(gè)有影響力的開(kāi)源系統(tǒng)pix2pix。此外英偉達(dá)的工作中還應(yīng)用到了生成對(duì)抗網(wǎng)絡(luò)(GAN)。這些方法已經(jīng)廣泛用于AI圖像生成。
但是英偉達(dá)還是在新產(chǎn)品中引入很多創(chuàng)新,這是一個(gè)簡(jiǎn)單的駕駛模擬器,玩家可以在AI生成的幾個(gè)城市街區(qū)中穿行,但不能離開(kāi)他們的汽車(chē),也不能以其他方式與世界互動(dòng)。而且這一演示僅使用一個(gè)GPU即可實(shí)現(xiàn),對(duì)于這樣的前沿工作來(lái)說(shuō),這是一個(gè)顯著的成就。
英偉達(dá)的系統(tǒng)利用如下幾個(gè)步驟生成圖形畫(huà)面:首先,研究人員必須收集訓(xùn)練數(shù)據(jù),一般這些數(shù)據(jù)來(lái)自于自動(dòng)駕駛研究的開(kāi)源數(shù)據(jù)集。然后將這些視頻數(shù)據(jù)中的每一個(gè)鏡頭做分割,即每一幀畫(huà)面被分成不同類(lèi)別的區(qū)域:如天空,汽車(chē),樹(shù)木,道路,建筑物等。然后,用這些分割的數(shù)據(jù)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò),用來(lái)生成這些對(duì)象的新畫(huà)面。
接下來(lái),工程師們使用傳統(tǒng)的游戲引擎創(chuàng)建了虛擬環(huán)境的基本拓?fù)浣Y(jié)構(gòu)。在該游戲演示中,使用的系統(tǒng)是虛幻引擎 4,這是一種流行的引擎,被用于諸如堡壘之夜,絕地求生,戰(zhàn)爭(zhēng)機(jī)器4等多種游戲中。工程師們使用此引擎作為框架,然后利用深度學(xué)習(xí)算法實(shí)時(shí)生成每個(gè)類(lèi)別的圖形畫(huà)面,并將它們顯示到游戲引擎的模型上。
為了創(chuàng)建這個(gè)系統(tǒng),英偉達(dá)的工程師克服了許多挑戰(zhàn),其中最大的挑戰(zhàn)是對(duì)象持久性。也就是說(shuō),如果深度學(xué)習(xí)算法以每秒 25 幀的速率為這一虛擬世界生成圖形,它們?nèi)绾伪3置恳粎^(qū)域的對(duì)象看起來(lái)大致相同?解決的方案就是給系統(tǒng)一個(gè)短期記憶,讓系統(tǒng)生成的每個(gè)新幀的時(shí)候與之前的幀進(jìn)行比較。這些計(jì)算都很昂貴,因此游戲只能以每秒25幀的速度運(yùn)行。
不過(guò),人工智能生成的畫(huà)面工作在機(jī)器人和自動(dòng)駕駛汽車(chē)等研究領(lǐng)域有潛在的應(yīng)用前景,可以用來(lái)生成虛擬訓(xùn)練環(huán)境。消費(fèi)者可以使用智能手機(jī)自己捕捉素材,然后將這些數(shù)據(jù)上傳到云端,算法將通過(guò)學(xué)習(xí)將其插入到各種游戲中。
然而,這種技術(shù)帶來(lái)了一些明顯的問(wèn)題。近年來(lái),專(zhuān)家擔(dān)心有些人會(huì)使用AI生成的足以亂真的假情報(bào)進(jìn)行虛假宣傳。但英偉達(dá)表示,這并不是一個(gè)新問(wèn)題。他們正在與合作伙伴研究檢測(cè)AI贗品的方法,解決這個(gè)“信任問(wèn)題”。
Catanzaro笑著說(shuō),對(duì)于計(jì)算機(jī)圖形學(xué)的人工智能革命是否會(huì)有利于英偉達(dá)公司的收入,至少不會(huì)帶來(lái)傷害。“任何能夠提高生成更逼真和更具吸引力的圖形的能力,都會(huì)對(duì)英偉達(dá)有利?!?/p>
圖|不同AI模型生成的畫(huà)面對(duì)比。左上是經(jīng)語(yǔ)義分割的圖像;右上是pix2pixHD生成的畫(huà)面;左下是 COVST 生成的畫(huà)面;右下是英偉達(dá)的系統(tǒng)生成的畫(huà)面。(圖源:英偉達(dá))
想了解更多關(guān)于AI生成圖形和視頻的革命性技術(shù)?歡迎點(diǎn)擊咨詢(xún)。
火星時(shí)代教育專(zhuān)注數(shù)字藝術(shù)教育30年,開(kāi)設(shè)課程有游戲設(shè)計(jì)培訓(xùn)、游戲程序培訓(xùn)、動(dòng)畫(huà)培訓(xùn)、原畫(huà)培訓(xùn)、AI繪畫(huà)培訓(xùn)、AI音樂(lè)創(chuàng)作培訓(xùn)、影視后期培訓(xùn)、短視頻制作、室內(nèi)設(shè)計(jì)培訓(xùn)、UI設(shè)計(jì)培訓(xùn)、插畫(huà)培訓(xùn)等。
熱門(mén)資訊
1. 華為手機(jī)神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議,通過(guò)簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點(diǎn)擊查看!
2. 四款值得推薦的AI以圖生圖軟件,有需要的趕緊來(lái)試試!
近年來(lái),人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語(yǔ)以及上傳參考圖就能智能高效生成符合要求的...
3. 照片變漫畫(huà)效果,這4個(gè)方法操作簡(jiǎn)單有效,快來(lái)試試吧!
想將照片變成漫畫(huà)效果?這篇文章分享了4個(gè)方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡(jiǎn)單操作就能實(shí)現(xiàn),快來(lái)嘗試一下吧!
4. 一款免費(fèi)無(wú)限制的AI視頻生成工具火了!國(guó)內(nèi)無(wú)障礙訪問(wèn)!附教程
人人都可以動(dòng)手制作AI視頻! 打開(kāi)網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開(kāi)始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
5. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類(lèi)型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶(hù)可以使...
6. 零基礎(chǔ)10分鐘生成漫畫(huà),教大家如何用AI生成自己的漫畫(huà)
接下來(lái),我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來(lái)盈利的漫畫(huà)。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫(huà)作品。讓...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫(huà)的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫(huà)軟件,提供詳細(xì)操作!有需要的快來(lái)...
8. AI視頻制作神器Viggle:讓靜態(tài)人物動(dòng)起來(lái),創(chuàng)意無(wú)限!
Viggle AI是一款免費(fèi)制作視頻的AI工具,能讓靜態(tài)人物圖片動(dòng)起來(lái),快來(lái)了解Viggle AI的功能和優(yōu)勢(shì)吧!
9. 10個(gè)建筑AI工具,從設(shè)計(jì)到施工全覆蓋!肯定有你從來(lái)沒(méi)聽(tīng)過(guò)的
講述了建筑業(yè)比較著名的AI公司小庫(kù)科技做出的探索,在這兒就不多說(shuō)了。今天,我們?cè)囍谝?guī)劃設(shè)計(jì)、建筑方案設(shè)計(jì)、住宅設(shè)計(jì)、管道設(shè)計(jì)、出渲染圖、3D掃...
10. Logo Diffusion——基于sd繪畫(huà)模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來(lái)詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說(shuō)關(guān)于怎么樣利用AI來(lái)提高生產(chǎn)效率、還能做什么AI...
最新文章
同學(xué)您好!