火星網(wǎng)校
Make-It-Vivid:通過文字描述生成3D卡通動畫角色
發(fā)布時間：2024-04-11 10:28:18 瀏覽量：173次
劃重點(diǎn):
?? 該項目致力于從文本指令自動生成卡通角色的紋理設(shè)計。
?? 提出了 Make-It-Vivid 方法，通過 UV 空間中的文本生成高質(zhì)量的紋理貼圖。
?? 實(shí)驗(yàn)表明該方法在紋理生成方面優(yōu)于當(dāng)前方法，可實(shí)現(xiàn)高效角色著色和信實(shí)的生成。
站長之家（ChinaZ.com）4月3日 消息:在創(chuàng)造生動的3D動畫角色時，面臨著這樣的挑戰(zhàn)，除了要滿足特定領(lǐng)域的高要求比如角色需要有獨(dú)特風(fēng)格和豐富細(xì)節(jié)，還缺乏高質(zhì)量的數(shù)據(jù)支撐?，F(xiàn)有方法通常無法生成具有豐富細(xì)節(jié)，和過度自然的紋理，使得角色看起來不真實(shí)，不夠生動。
因此，來自上海交通大學(xué)的海AI實(shí)驗(yàn)室和清華大學(xué)的研究團(tuán)隊，研究著眼于基于輸入指令為卡通角色自動生成紋理設(shè)計。為了解決領(lǐng)域特定需求和高質(zhì)量數(shù)據(jù)不足的挑戰(zhàn)，他們提出了 “Make-It-Vivid” 方法，這是首次嘗試從文本中在 UV 空間生成高質(zhì)量紋理。
這個框架能夠根據(jù)文本描述自動生成高質(zhì)量的3D紋理。該方法通過使用視覺問答代理生成了詳細(xì)的文本 - 紋理配對數(shù)據(jù)，為3D 角色準(zhǔn)備了數(shù)據(jù)。然后，他們定制了一個預(yù)訓(xùn)練的文本到圖像模型，以模板結(jié)構(gòu)生成紋理地圖，同時保留自然的2D 圖像知識。此外，為了增強(qiáng)細(xì)粒度細(xì)節(jié)，他們提出了一種新穎的對抗學(xué)習(xí)方案，縮短了原始數(shù)據(jù)集與真實(shí)紋理領(lǐng)域之間的域差。
大量實(shí)驗(yàn)證明，他們的方法優(yōu)于當(dāng)前的紋理生成方法，實(shí)現(xiàn)了高效的角色紋理處理和根據(jù)提示生成忠實(shí)的結(jié)果。此外，他們展示了各種應(yīng)用，如域外生成和紋理風(fēng)格化。他們還提供了一個高效的生成系統(tǒng)，用于自動文本引導(dǎo)的紋理角色生成和動畫。
這一方法接受一對數(shù)據(jù)作為輸入，包括一個紋理地圖、相應(yīng)的文本描述 P 和網(wǎng)格模型 M。他們對預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型的低秩適配器?θ 進(jìn)行微調(diào)，以生成高質(zhì)量 UV 紋理。為了提高合成紋理的質(zhì)量和感知保真度，他們引入了對抗訓(xùn)練來增強(qiáng)紋理細(xì)節(jié)。他們利用由 ControlNet 生成的渲染深度條件的合成可信圖像作為指導(dǎo)，引導(dǎo)這種對抗性訓(xùn)練。
該項目的代碼即將發(fā)布，項目入口
:https://top.aibase.com/tool/make-it-vivid
熱門課程推薦
熱門資訊
-
想了解動畫制作和影視特效的區(qū)別嗎？本文將帶您深入探討動畫制作和影視特效之間的關(guān)系，幫助你更好地理解這兩者的差異。
-
想知道快影、剪映、快剪輯這三款軟件哪個更適合小白？看看這篇對比評測，帶你了解這三款軟件的功能和特點(diǎn)，快速選擇適合自己的視頻剪輯軟件。
-
剪映專業(yè)版新增全局預(yù)覽縮放功能，可以輕松放大或縮小時間軌道。學(xué)習(xí)如何使用時間線縮放功能，提升剪輯效率。
-
4. 豆瓣8.3《鐵皮鼓》|電影符號學(xué)背后的視覺盛宴、社會隱喻主題
文|悅兒(叮咚,好電影來了!)《鐵皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社會隱喻主題;以及對于普通觀眾來說,它又帶給我們哪些現(xiàn)實(shí)啟發(fā)...
-
5. 從宏觀蒙太奇思維、中觀敘事結(jié)構(gòu)、微觀剪輯手法解讀《花樣年華》
中觀層面完成敘事結(jié)構(gòu)、以及微觀層面的剪輯手法,3個層次來解讀下電影《花樣年華》的蒙太奇魅力。一、 宏觀層面:運(yùn)用蒙太奇思維構(gòu)建電影劇本雛形。蒙...
-
6. 為什么漫威、DC這類大片的電影特效如此燒錢？原因在這里
想知道為什么漫威、DC這類特效滿天飛的大片花費(fèi)如此之高嗎？一秒鐘幾十萬上百萬的電影特效為何如此“貴”？快來了解電影特效制作的內(nèi)幕~
-
7. 15種電影剪輯/轉(zhuǎn)場藝術(shù)，賦予影片絕妙魅力
15種電影剪輯/轉(zhuǎn)場手法，讓影片更吸引眼球！回顧電影中豐富多樣的專場技巧，比如瞬間從一個場景中變換到空中... 現(xiàn)在是測試技術(shù)的時候了！以下是一些常見剪輯手法，讓你觀影過程更加華麗動人！
-
本文介紹了十款強(qiáng)大的PR視頻剪輯插件，幫助提升視頻剪輯效率，提高創(chuàng)作品質(zhì)，并降低創(chuàng)作難度。
-
9. 《肖申克的救贖》通過鏡頭語言，向觀眾展現(xiàn)了安迪自我救贖的過程
以突出劇情的緊張氛圍和角色的情感變化。此外,電影的拍攝手法和剪輯方案還與影片的敘事結(jié)構(gòu)和主題緊密相連。導(dǎo)演巧妙地運(yùn)用回憶、閃回和象征性鏡頭等...
-
10. 干貨丨真正厲害的剪輯師都喜歡用這九大“技巧轉(zhuǎn)場”
想學(xué)習(xí)剪輯技術(shù)轉(zhuǎn)場的方法嗎？了解這九種技巧轉(zhuǎn)場方法，提升影片藝術(shù)感染力，讓你的視頻作品更加生動有趣！
最新文章
