2022N.GAME網(wǎng)易游戲開發(fā)者峰會(huì)于「4月18日-4月21日」舉辦，本屆峰會(huì)圍繞全新主題“未來已來 The Future is Now”，共設(shè)置創(chuàng)意趨勢(shì)場(chǎng)、技術(shù)驅(qū)動(dòng)場(chǎng)、藝術(shù)打磨場(chǎng)以及價(jià)值探索場(chǎng)四個(gè)場(chǎng)次，邀請(qǐng)了20位海內(nèi)外重磅嘉賓共享行業(yè)研發(fā)經(jīng)驗(yàn)、前沿研究成果和未來發(fā)展趨勢(shì)。

本篇干貨來自技術(shù)驅(qū)動(dòng)場(chǎng)的嘉賓陳康，他是網(wǎng)易互娛AI Lab的技術(shù)經(jīng)理。

嘉賓分享實(shí)錄

（有部分刪減與調(diào)整）

大家好，我是來自網(wǎng)易互娛AI Lab的陳康，目前負(fù)責(zé)互娛AI Lab滬杭團(tuán)隊(duì)，以及圖形學(xué)、3D視覺和語音方向的技術(shù)研發(fā)和落地。

很高興有這個(gè)機(jī)會(huì)給大家分享一下我們部門從17年底成立到現(xiàn)在，基于AI的美術(shù)資源生產(chǎn)方面做過的嘗試。

常見美術(shù)資產(chǎn)的生產(chǎn)過程

首先，什么是美術(shù)資源呢？在游戲行業(yè)，其專有名詞叫“美術(shù)資產(chǎn)”。

以《一夢(mèng)江湖》和《王牌競(jìng)速》兩款游戲?yàn)槔?。在藝術(shù)風(fēng)格上有著明顯差異，前者偏古風(fēng)，后者偏現(xiàn)代。但共同點(diǎn)是，你在畫面里看到的所有東西，比如人物、衣服、建筑、植被、甚至車輛、以及界面上的按鈕圖標(biāo)。

這些都是美術(shù)同學(xué)在DCC軟件或者游戲引擎中制作出來的，所以都屬于美術(shù)資產(chǎn)。

游戲行業(yè)發(fā)展到今天，在美術(shù)資產(chǎn)制作方面，已經(jīng)形成了一套非常成熟的工業(yè)化、流水線生產(chǎn)的解決方案。

接下來，以我們部門的虛擬技術(shù)代言人，同時(shí)也是峰會(huì)的虛擬主持人i.F.為例。給大家簡(jiǎn)單介紹一下常見美術(shù)資產(chǎn)的制作過程。

假設(shè)你作為一名策劃同學(xué)，想要美術(shù)幫你制作一個(gè)這樣的角色，你會(huì)怎么跟他表達(dá)需求呢？你可能會(huì)說想要活潑可愛的二次元妹子，處于青春期的年齡段、可能性格有點(diǎn)呆萌。

但這種描述其實(shí)都是很主觀、抽象的。比如都是二次元，《陰陽師》和《原神》的二次元就有很大差異?；谶@種模糊的描述，美術(shù)是沒法直接制作三維模型的。

因?yàn)樵谶@過程中肯定需要不停地迭代需求，甚至有可能推翻重做。在三維模型環(huán)節(jié)進(jìn)行這種角色設(shè)計(jì)層面的迭代，成本是非常高的。

所以，策劃的需求一般會(huì)先給到原畫師，原畫師會(huì)把這些抽象的描述轉(zhuǎn)化成具體的形象。所有形象設(shè)計(jì)層面的修改和迭代都是在原畫階段完成的。

這邊展示的就是i.F.的角色原畫。在設(shè)計(jì)過程中，原畫師肯定會(huì)融入的自己理解，提出修改方案。因?yàn)樵谶@個(gè)領(lǐng)域美術(shù)要比策劃專業(yè)的多。

比如i.F.這個(gè)形象，頭上像兔子耳朵一樣的耳機(jī)，就是原畫同學(xué)自己設(shè)計(jì)出來的。因?yàn)槲覀冃枰粋€(gè)青春可愛的技術(shù)代言人，這就可以在保持角色可愛風(fēng)格的同時(shí)，體現(xiàn)出一定科技元素。

角色原畫設(shè)定圖完善后，就會(huì)進(jìn)入模型環(huán)節(jié)。模型師會(huì)參考這個(gè)形象制作三維模型和對(duì)應(yīng)的材質(zhì)貼圖。

對(duì)模型師的要求是，制作完成的模型和貼圖放到游戲引擎之后，能最大程度還原原畫設(shè)計(jì)的形象。

如果是靜態(tài)物體，一般到這一步做完就結(jié)束了。后面直接交給場(chǎng)景編輯師在游戲引擎中搭建游戲場(chǎng)景即可。但實(shí)際上，游戲角色是要能動(dòng)起來的。

所以模型制作完成后還要交給綁定師架設(shè)骨骼、蒙皮、以及一些變形體，然后制作綁定控制器。即角色身上的這些奇怪的線圈和右邊的面板。通過操縱這些東西，便可驅(qū)動(dòng)角色做出對(duì)應(yīng)的動(dòng)作。

綁定好的角色會(huì)交給動(dòng)畫師，他們會(huì)采用動(dòng)作捕捉，或者手動(dòng)設(shè)定關(guān)鍵幀的方式制作動(dòng)畫資源。

整個(gè)生產(chǎn)過程其實(shí)非常類似一條工業(yè)流水線，一環(huán)套一環(huán)。每一款成品游戲的美術(shù)資源都是由大量美術(shù)勞動(dòng)力堆起來的。這塊的開銷也一直是整個(gè)游戲研發(fā)成本的大頭。

現(xiàn)在的玩家越來越挑剔，游戲行業(yè)競(jìng)爭(zhēng)也越來越激烈。比如現(xiàn)在的3A大作，如果不支持開放世界已經(jīng)不好意思說自己是本世代游戲了。

開放世界是怎么讓你覺得有開放感的呢？其實(shí)簡(jiǎn)單來說就是盡量多的生產(chǎn)內(nèi)容，你就會(huì)覺得這款游戲非常開放。

比如說《刺客信條》《孤島驚魂》這種級(jí)別的經(jīng)典的開放世界沙盒游戲，地圖動(dòng)不動(dòng)就幾十平方公里。這種規(guī)模的地圖如果按照傳統(tǒng)制作方式已經(jīng)不現(xiàn)實(shí)。

所以目前大量的程序化手段被應(yīng)用到游戲開發(fā)過程中，像程序化地形、建筑、植物等都已經(jīng)是很常見的做法了。

目前游戲行業(yè)的整個(gè)趨勢(shì)是最大程度地利用程序化制作美術(shù)資源。那怎么來理解基于AI的美術(shù)資源生產(chǎn)呢？

其實(shí)簡(jiǎn)單說AI就是一種程序，所以我們做的工作本質(zhì)上是在程序化生產(chǎn)主線下，引入AI的技術(shù)手段，從而實(shí)現(xiàn)一些傳統(tǒng)方案無法做到的效果。

下面我就給大家介紹一下，我們部門在原畫、模型和動(dòng)畫三個(gè)方面做過的一些嘗試。

AI在原畫方面的應(yīng)用

首先是原畫方面，我們做了兩個(gè)輔助創(chuàng)作的工具。

第一個(gè)應(yīng)用是對(duì)二次元角色線稿進(jìn)行自動(dòng)上色的工具，并且可生成多套不同的上色方案。主要作用是給美術(shù)在設(shè)計(jì)二次元形象時(shí)，提供色彩搭配上的靈感。

第二個(gè)工具是人臉的生成和編輯工具。該工具可基于美術(shù)繪制的人臉線稿生成真實(shí)的人臉照片，并且允許對(duì)生成人臉的屬性進(jìn)行編輯，這里展示的是對(duì)人臉的年齡進(jìn)行修改后的結(jié)果。

由于互聯(lián)網(wǎng)上人臉是數(shù)據(jù)非常豐富的，人臉的結(jié)構(gòu)相對(duì)也比較簡(jiǎn)單。所以目前這個(gè)工具可以生成非常高清的人臉照片。美術(shù)在設(shè)計(jì)寫實(shí)類角色時(shí)，可以參考AI合成的人臉進(jìn)行二次創(chuàng)作。

當(dāng)然，我知道很多同學(xué)對(duì)AI在原畫方面是有更高的期待的。比如說，利用GAN或風(fēng)格遷移等技術(shù)直接生成游戲的場(chǎng)景原畫。因?yàn)檫@也是AI技術(shù)最早出圈被大家知道的一批應(yīng)用。

不過目前想要實(shí)際落地還稍微有點(diǎn)困難，不是說技術(shù)本身有問題。主要是因?yàn)橛螒蛟嬙O(shè)計(jì)追求的不一定是真實(shí)，更多是一種特定藝術(shù)風(fēng)格下的視覺表達(dá)。

我們隨便找一幅游戲畫面對(duì)比一下，這種圖片跟日常照片是有明顯區(qū)別的。在當(dāng)前的數(shù)據(jù)條件下，想生成一個(gè)這種級(jí)別的AI模型還比較困難，所以，如何讓AI在原畫設(shè)計(jì)方面發(fā)揮更多的作用，也是我們未來的重點(diǎn)努力方向之一。

用AI制作模型

在這一塊我們的主要工作圍繞在人臉模型。

首先，簡(jiǎn)單介紹一個(gè)基礎(chǔ)設(shè)施叫三維參數(shù)化人臉模型。這是一個(gè)雙線性模型，基于大量三維掃描得到的三維人臉數(shù)據(jù)制作出來的，有臉型和表情兩個(gè)維度。簡(jiǎn)單說就是任意給定一組臉型參數(shù)和表情參數(shù)，就會(huì)得到對(duì)應(yīng)參數(shù)下的三維人頭模型。

在2018年，我們自己掃描并制作了一套高質(zhì)量的三維參數(shù)化人臉。當(dāng)時(shí)一共采集了500名中國(guó)人，男女各占一半；從10-60歲，每人掃描了7套表情，共3500套。

我們?cè)谶@塊投入了不小的成本，去年的游戲開發(fā)者大會(huì)GDC上也做過一次分享。我相信很多從事三維人臉相關(guān)研究的同學(xué)會(huì)對(duì)這個(gè)模型概念非常熟悉。

這是由一篇1999年的SIGGRAPH論文提出來的概念，專業(yè)名稱叫3DMM。目前學(xué)術(shù)界其實(shí)是有很出名的開源3DMM數(shù)據(jù)，我們?yōu)槭裁床恢苯佑眠@種開源模型呢？主要有三方面原因：

首先是版權(quán)問題，因?yàn)槲覀兿Ｍ@套技術(shù)是真的能夠在游戲產(chǎn)品中用起來。

其次是精度問題，這些開源模型的精度距離實(shí)際游戲的標(biāo)準(zhǔn)還是有不小差距。我們?cè)缙谧鰧?shí)驗(yàn)用的也是這些模型，但是美術(shù)同學(xué)對(duì)開源模型的人和質(zhì)量非常嫌棄。

所以我們自己采集時(shí)，每一個(gè)人頭后續(xù)都是發(fā)包人工精修，質(zhì)量很高。

最后是人種問題，因?yàn)檫@種開源模型一般都是歐美機(jī)構(gòu)發(fā)布的。他們采集的對(duì)象主要是有明顯的高鼻梁、深眼窩特點(diǎn)的歐美高加索人種，而不是亞洲人。

基于這些原因，我們果斷決定自己制作一套這樣的模型。

在AI領(lǐng)域，參數(shù)化人臉的主要作用是提供關(guān)于人臉的三維形狀先驗(yàn)。制作好的參數(shù)化三維人臉模型，可以用于從二維照片中重建三維人臉模型。這套參數(shù)化人臉模型，在東亞人臉照片上取得了非常好的重建效果。

當(dāng)然，由于單視角照片存在一些深度方面的缺失，很難還原類似鼻梁高度，眼窩這方面的特征。

所以我們也開發(fā)了一套多視角的重建算法，如果條件允許的話，可拍攝演員的多張照片進(jìn)行重建。這邊大家可以對(duì)比一下，右邊多視角重建結(jié)果對(duì)演員鼻子形狀的還原程度，比單視角高非常多。

除了從照片中重建三維模型，這套參數(shù)化人臉還有一個(gè)更重要的應(yīng)用，批量給游戲生成人頭模型。

如果游戲的人頭資源標(biāo)準(zhǔn)跟庫里的人頭標(biāo)準(zhǔn)一致，那就很簡(jiǎn)單了?？梢灾苯釉趨?shù)化人臉模型的參數(shù)空間采樣，把采樣模型給到游戲項(xiàng)目使用。但這種情況一般不多，因?yàn)槊總€(gè)游戲都有自己特定的需求。

所以，一個(gè)更常見的生成方式是對(duì)項(xiàng)目組的模型進(jìn)行自動(dòng)批量變形。簡(jiǎn)單說就是把生成的模型相對(duì)于平均臉的變化，遷移到項(xiàng)目組的模型上，可以是表情和臉型的遷移變化。并且，所有變形都可以用項(xiàng)目規(guī)定的骨骼蒙皮進(jìn)行表達(dá)。

這是一組我們生成的結(jié)果，最左邊是項(xiàng)目組提供給我們的角色模型。我們以此自動(dòng)批量生成同風(fēng)格，但臉型和五官有明顯區(qū)別的模型，且每個(gè)模型都可生成一套表情。

即項(xiàng)目組只需做一個(gè)靜態(tài)模型便能自動(dòng)批量生成許多綁定好的模型。這對(duì)于追求千人千面的開放世界游戲非常有價(jià)值，能夠以級(jí)低成本讓游戲中每個(gè)NPC看起來都不同。

這是我們對(duì)兩個(gè)Metahuman模型變形后的效果，可以看到生成的人頭模型跟原始的資源標(biāo)準(zhǔn)完全兼容，且變形質(zhì)量生成的模型作為實(shí)際游戲的頭模是綽綽有余的。

大家要知道，像Metahuman這種級(jí)別模型，一個(gè)頭的成本，保守計(jì)算都要小幾十萬人民幣，所以該技術(shù)是非常有價(jià)值的。

為了進(jìn)一步豐富我們的三維人頭數(shù)據(jù)，我們搭建了自己的三維掃描實(shí)驗(yàn)室，目前在杭州園區(qū)搭建了專門掃描人頭的設(shè)備。左邊是設(shè)計(jì)圖，右邊是搭建完成后的實(shí)物。

是一個(gè)正20面體，一共包含53臺(tái)單反和150組定制LED燈光。整套系統(tǒng)都是我們自己設(shè)計(jì)和搭建的。后續(xù)還將會(huì)在網(wǎng)易廣州和上海園區(qū)分別搭建更大的全身掃描裝備。

三維掃描的原理其實(shí)非常簡(jiǎn)單。攝影測(cè)量算法，從多視角照片中計(jì)算人頭的三維點(diǎn)云。這是我們系統(tǒng)掃描的一組樣例，精度可對(duì)標(biāo)國(guó)內(nèi)外一線掃描服務(wù)供應(yīng)商。

這是基于我們的掃描流程制作的一組表情基的效果，掃描模型對(duì)演員面部細(xì)節(jié)還原程度非常高。

之前有說該設(shè)備具有150組定制LED燈光，這組燈光花了很高的成本。每一盞燈的開關(guān)和亮度可獨(dú)立控制。一組燈光包含三個(gè)燈頭，分別安裝了一個(gè)普通無偏振的uv鏡和兩個(gè)偏振鏡。相對(duì)于相機(jī)上安裝的偏振鏡方向，兩個(gè)偏振鏡一個(gè)平行、一個(gè)垂直。

對(duì)攝影比較熟悉的同學(xué)應(yīng)該很熟悉偏振鏡的用法，是一種常用的uv鏡。主要用于非金屬物體表面的一些不必要的反射光，還可還原物體本身顏色。

偏振鏡的原理是什么？光具備波粒二象性，既是粒子、也是一種電磁波。它的振動(dòng)方向與傳播方向垂直，類型的波叫橫波，所有的橫波都具有偏振現(xiàn)象。

若光的偏振方向與偏振鏡方向平行，那所有能量都會(huì)通過；若是垂直的，則所有能量會(huì)被過濾。

基于這個(gè)原理，我們可以給掃描物體一次性拍攝8組燈光下照片，然后利用這8張照片就能算出物體表面的材質(zhì)，也就是漫反射、高光和法線的信息。

這8組燈光分別是4組平行偏振光和4組交叉偏振光，對(duì)每一組而言，首先打開所有燈光，然后燈光亮度按照燈光在三維空間的坐標(biāo)值遞減。最后在XYZ三個(gè)方向分別可產(chǎn)生一組燈光。

目前這套設(shè)備剛搭建完成，在人臉材質(zhì)掃描方面我們剛剛起步，后續(xù)會(huì)逐漸加大這塊的投入。

將AI應(yīng)用于動(dòng)畫制作

這塊是我們這幾年工作的重心。美術(shù)資產(chǎn)一般占整個(gè)游戲研發(fā)總成本里最大的部分，但在其中，動(dòng)畫一般又會(huì)占整個(gè)美術(shù)資產(chǎn)最大的一塊。

雖然原畫和模型也很貴，但大部分屬于一次性開銷，而動(dòng)畫需要配合劇情持續(xù)性產(chǎn)出，高質(zhì)量的動(dòng)畫，一分鐘的制作成本就可以很輕松過萬。

在動(dòng)畫這塊首先是在光學(xué)動(dòng)捕數(shù)據(jù)的清洗方面做了些工作。光學(xué)動(dòng)捕的原理其實(shí)很簡(jiǎn)單，就是在緊身動(dòng)捕服表面設(shè)置很多標(biāo)記點(diǎn)。通過多視角紅外相機(jī)跟蹤標(biāo)記點(diǎn)在三維空間中的坐標(biāo)，并根據(jù)坐標(biāo)算來人體骨骼的旋轉(zhuǎn)和平移信息。

自動(dòng)算出的這些信息不可避免有一些錯(cuò)誤，進(jìn)而會(huì)導(dǎo)致解算出來的骨骼動(dòng)畫可能存在異常。所以在實(shí)際的動(dòng)捕過程流程中，會(huì)有專門的美術(shù)負(fù)責(zé)對(duì)動(dòng)捕出來的標(biāo)記點(diǎn)進(jìn)行清洗。

資深的動(dòng)捕美術(shù)通過直接看標(biāo)記點(diǎn)的軌跡曲線，便知道出錯(cuò)類型及如何修改。這塊也是目前動(dòng)捕工作流中主要的人工工作量。

18年育碧提出一種算法，通過AI模型來取代上面的過程，當(dāng)時(shí)發(fā)表在了SIGGRAPH上。

我們?cè)?9年時(shí)候投資了一家法國(guó)3A游戲工作室Quantic Dream（《底特律：變?nèi)恕返闹谱鞴荆虼水?dāng)時(shí)開始有技術(shù)合作。他們提出了上面的要求，我們對(duì)此進(jìn)行了跟進(jìn)。在做了一年多以后，我們找到了精度更高的解決方案，也發(fā)表在了SIGGRAPH上。

目前這套算法已經(jīng)以Vicon軟件的插件形式，部署在網(wǎng)易互娛和Quantic Dream的動(dòng)捕工作流中。這里是一個(gè)例子。這是原始含噪音的標(biāo)記點(diǎn)，閃來閃去的就是局部噪音，留在原地的那些點(diǎn)就是跟丟的點(diǎn)。

接下來要介紹的幾個(gè)工作是我們部門落地最多的項(xiàng)目，首先是一套基于普通單目攝像頭的輕量級(jí)面部動(dòng)捕系統(tǒng)。

基本原理是利用前面介紹的那套三維參數(shù)化人臉模型，對(duì)視頻中演員的臉型、表情頭部姿態(tài)進(jìn)行回歸，把回歸得到的系數(shù)重定向到游戲角色上。也會(huì)配合CV檢測(cè)和識(shí)別模型，加強(qiáng)算法對(duì)眨眼、視線、舌頭和整體情緒的捕捉精度。

這個(gè)項(xiàng)目從18年開始做，前前后后差不多有10位同事參與，里面的算法模塊都是我們自己開發(fā)的。打磨到現(xiàn)在，已經(jīng)是一套非常成熟的in-house面部動(dòng)捕解決方案。

圍繞這套算法，我們還打造了一整套的工具鏈。有實(shí)時(shí)動(dòng)捕預(yù)覽工具、有針對(duì)動(dòng)捕結(jié)果進(jìn)行離線調(diào)整和編輯的工具、還有Maya/Max里的動(dòng)捕數(shù)據(jù)重定向插件。

另外為了方便項(xiàng)目組接入面部動(dòng)捕系統(tǒng)，還專門開發(fā)了一套適配算法的面部自動(dòng)綁定插件。此外，核心算法還打包了全平臺(tái)SDK，在iPhone 6s以上的機(jī)器可以做到實(shí)時(shí)單核單線程。

這套系統(tǒng)在游戲里有著非常多的應(yīng)用場(chǎng)景。

首先是輔助動(dòng)畫師制作正式的游戲動(dòng)畫資源。相比于傳統(tǒng)一幀一幀手Key，采用動(dòng)捕方案的制作效率有明顯優(yōu)勢(shì)，且只要演員表演到位，效果跟美術(shù)手Key幾乎無差別。

其次，可以給營(yíng)銷同學(xué)快速產(chǎn)出一些面部動(dòng)畫素材。雖然該方面對(duì)精度要求沒那么高，但對(duì)時(shí)效性要求卻很高，慢了就蹭不上熱點(diǎn)。因此這種輕量級(jí)的方案非常適合營(yíng)銷場(chǎng)景。比如某段視頻火了，用這套工具可以非常快速地產(chǎn)出面部動(dòng)畫素材。

另外，因?yàn)檎姿惴ㄌ峁┤脚_(tái)的SDK，因此可打包在游戲里給玩家提供UGC玩法。例如在《一夢(mèng)江湖》中上線的顏藝系統(tǒng)，可讓玩家錄制自己的表情動(dòng)畫。

右邊是我在B站上找到的視頻，是玩家系統(tǒng)錄制的一段打哈欠的動(dòng)畫，上傳到B站后傳播效果非常好。

最后，這套算法還可以支持一些虛擬主播的場(chǎng)景。比如《第五人格》禿禿杯電競(jìng)比賽的虛擬解說、云音樂look直播的虛擬主播等等，用的都是這套技術(shù)。

另外，我們還配合高精度三維掃描設(shè)備，測(cè)試了面部動(dòng)捕算法在超寫實(shí)模型上的效果。用模特自己的視頻來驅(qū)動(dòng)他自己的角色，樣可以更好的對(duì)比表情的還原度。

這是另外一組效果，從效果上可見不管是掃描重建還是面部捕捉，技術(shù)都足以支持這種高精度場(chǎng)景。

跟面部動(dòng)捕類似，們也做了一套輕量級(jí)基于普通攝像頭的身體動(dòng)捕系統(tǒng)。單視角和多視角輸入都支持，原理跟面捕類似，利用一套參數(shù)化人體模型，對(duì)各關(guān)節(jié)參數(shù)進(jìn)行擬合。同樣會(huì)配合CV模型提升優(yōu)化結(jié)果的合理性。

該項(xiàng)目打磨了兩年時(shí)間，效果和穩(wěn)定性相當(dāng)不錯(cuò)。

這是在冬奧之后，我們用該技術(shù)項(xiàng)目制作視頻。按傳統(tǒng)制作方式，這種營(yíng)銷策劃案不太可能實(shí)現(xiàn)，因?yàn)殡y以找到能還原動(dòng)作的演員。一套下來沒有6位數(shù)的開銷和1個(gè)多月的制作周期很難完成。但用這套AI的方案，成本可以忽略不計(jì)。

這個(gè)是更早時(shí)候，跟《大話西游》項(xiàng)目組合作的一段視頻，官網(wǎng)和B站上都能搜到。當(dāng)時(shí)請(qǐng)了B站舞蹈區(qū)的知名UP主，用三部手機(jī)錄了這套動(dòng)作。用動(dòng)捕算法得出動(dòng)作后，重定向到游戲角色上，整體效果非常精美。

另外，在給《明日之后》項(xiàng)目組制作的動(dòng)畫素材中，只用了一個(gè)單目攝像頭，捕捉了身體和面部動(dòng)作。只要拍得足夠清晰，手指動(dòng)作也是可以精準(zhǔn)捕捉的。

除了視頻輸出，我們還做了基于音頻輸入生成動(dòng)畫的技術(shù)。比如從語音輸入生成角色的面部和肢體動(dòng)畫，圍繞這個(gè)技術(shù)做了一整套的工具鏈。啟動(dòng)時(shí)間也非常早，18年就在不少游戲上落地實(shí)裝。

當(dāng)時(shí)做得還比較簡(jiǎn)單，只支持口型和幾種簡(jiǎn)單的基礎(chǔ)情緒。后來我們做了持續(xù)的基礎(chǔ)升級(jí)和迭代，增加了語音驅(qū)動(dòng)頭動(dòng)、眼動(dòng)、手動(dòng)、面部微表情，還有肢體動(dòng)作等等。

另一個(gè)從音頻輸入生成動(dòng)畫的工作，是基于音樂生成舞蹈動(dòng)作。這項(xiàng)工作我們從2018年開始研究，經(jīng)過幾年迭代最終形成了一套方案，詳細(xì)的技術(shù)方案在論文里有介紹，這里主要展示實(shí)際落地效果：首先是二次元女團(tuán)舞；

這是一段韓舞的動(dòng)畫，也是網(wǎng)易CC直播年度盛典的開場(chǎng)舞蹈。

另外，我們也會(huì)用一些網(wǎng)絡(luò)熱門歌曲合成舞蹈。去年圣誕節(jié)時(shí)，我們用虛擬偶像I.F.制作的B站互動(dòng)視頻，其中所有動(dòng)畫都是通過AI技術(shù)生成的。目前這套AI動(dòng)畫的解決方案已經(jīng)相當(dāng)成熟，在內(nèi)部經(jīng)過了大量項(xiàng)目的驗(yàn)證，目前也在持續(xù)為網(wǎng)易的各個(gè)項(xiàng)目組輸出動(dòng)作資源。

目前這套AI動(dòng)畫解決方案相當(dāng)成熟，在內(nèi)部經(jīng)過大量項(xiàng)目驗(yàn)證后給網(wǎng)易各個(gè)項(xiàng)目持續(xù)不斷輸出動(dòng)作資源。

技術(shù)總結(jié)

最后簡(jiǎn)單總結(jié)一下，AI技術(shù)對(duì)程序化美術(shù)資源生成能產(chǎn)生明顯的促進(jìn)作用。根據(jù)我們的實(shí)踐經(jīng)驗(yàn)，在人臉、人體的模型和動(dòng)畫方面，它甚至可以在一定程度上取代一些初級(jí)執(zhí)行向美術(shù)的工作。利用我們的AI方案，普遍可以比傳統(tǒng)方案提升5-10倍的制作效率。

但目前向讓AI從事一些更高級(jí)的動(dòng)作仍然比較困難，這也是我們未來努力的方向。

數(shù)據(jù)是AI的核心，AI模型有多少能力其實(shí)很大程度上取決于能給模型提供多少價(jià)值的數(shù)據(jù)。因此，難點(diǎn)便是高質(zhì)量的數(shù)據(jù)比較稀缺。

跟照片、語音、文字這種日常生產(chǎn)的數(shù)據(jù)不太一樣，游戲資產(chǎn)獲取門檻比較高。比如在某個(gè)景點(diǎn)看到一個(gè)很有特色的雕塑，絕大部分人的反應(yīng)可能是掏出手機(jī)，拍張照記錄下來，但幾乎不會(huì)有人掏出電腦現(xiàn)場(chǎng)建個(gè)模。

當(dāng)然隨著技術(shù)的進(jìn)步，游戲資源的制作門檻肯定是越來越低的。而且像元宇宙這樣的熱門應(yīng)用場(chǎng)景，游戲廠商自身會(huì)讓廣大玩家參與到虛擬世界的內(nèi)容創(chuàng)造過程中來。

所以我相信隨著數(shù)據(jù)的持續(xù)積累，未來AI技術(shù)也是可以能從事一些更高級(jí)工作，這也是我們的努力方向。

以上就是本次分享的全部?jī)?nèi)容，謝謝大家！