火星網(wǎng)校
從個人到集體，邁向更多元的3D人體動作生成技術
發(fā)布時間：2024-06-27 13:09:22 瀏覽量：205次
近期關注的3D人體動作生成技術受到越來越多的關注，探索更加全面且多樣化的動作生成方法。新技術基于GAN和Transformer框架，不僅支持單人動作生成，還能輕松拓展到多人動作生成。通過構建GTA Combat數(shù)據(jù)集，填補了現(xiàn)有復雜場景交互數(shù)據(jù)集的不足。
ActFormer框架支持多種類型的人體動作表征，實現(xiàn)單人/多人動作生成
簡介
3D人體動作生成是計算機視覺和圖形學中的熱門話題，特別是近期的文本描述生成人體動作研究更受關注。現(xiàn)有工作局限于某些人體表征，忽略多人動作生成，因此需要更通用的框架支持多種人體動作表征和單人/多人動作生成。
具體方法
Actformer框架圖
Actformer可以生成含有多個個體的人體動作序列，支持骨架坐標或SMPL參數(shù)模型表示。單人動作生成需要考慮時序連貫性，采用高斯過程隱式先驗和Transformer生成網(wǎng)絡。
多人動作生成通過交互Transformer和時序Transformer結構實現(xiàn)，共享隱式表征，保證生成結果同步。
生成過程采用生成對抗訓練，通過條件Wasserstein GAN損失函數(shù)訓練。實驗中，考慮了人的全局位移并應用了數(shù)據(jù)增強方案。
GTA Combat數(shù)據(jù)集
為彌補多人交互數(shù)據(jù)集的缺乏，基于GTA-V游戲引擎合成了多人打架數(shù)據(jù)集，保證交互真實感和豐富隨機性。
GTA Combat數(shù)據(jù)集概況
實驗
在多個數(shù)據(jù)集上進行實驗，證明了算法的有效性和泛化性。評測使用動作識別準確率和FID分數(shù)作為量化指標，結果表明算法效果優(yōu)異。
單人動作生成結果對比
多人動作生成結果對比
NTU-1P上的網(wǎng)絡模塊消融實驗
NTU-2P上的網(wǎng)絡模塊消融實驗
多人交互編碼消融實驗
可視化結果
結論
繼續(xù)關注3D人體動作生成領域的發(fā)展，新技術展示了巨大的潛力。歡迎加入我們共同探索人體動作/交互的理解與生成領域。
參考文獻：
- Guo, Chuan, et al. “Action2motion: Conditioned generation of 3d human motions.” Proceedings of the 28th ACM International Conference on Multimedia. 2020.
- Petrovich, Mathis, Michael J. Black, and Gül Varol. “Action-conditioned 3D human motion synthesis with transformer VAE.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
- Yan, Sijie, et al. “Convolutional sequence generation for skeleton-based action synthesis.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.
- Yan, Sijie, Yuanjun Xiong, and Dahua Lin. “Spatial temporal graph convolutional networks for skeleton-based action recognition.” Proceedings of the AAAI conference on artificial intelligence. Vol. 32. No. 1. 2018.
- Loper, Matthew, et al. “SMPL: A skinned multi-person linear model.” ACM transactions on graphics (TOG) 34.6 (2015): 1-16.
熱門課程推薦
熱門資訊
-
想了解動畫制作和影視特效的區(qū)別嗎？本文將帶您深入探討動畫制作和影視特效之間的關系，幫助你更好地理解這兩者的差異。
-
想知道快影、剪映、快剪輯這三款軟件哪個更適合小白？看看這篇對比評測，帶你了解這三款軟件的功能和特點，快速選擇適合自己的視頻剪輯軟件。
-
剪映專業(yè)版新增全局預覽縮放功能，可以輕松放大或縮小時間軌道。學習如何使用時間線縮放功能，提升剪輯效率。
-
4. 豆瓣8.3《鐵皮鼓》|電影符號學背后的視覺盛宴、社會隱喻主題
文|悅兒(叮咚,好電影來了!)《鐵皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社會隱喻主題;以及對于普通觀眾來說,它又帶給我們哪些現(xiàn)實啟發(fā)...
-
5. 從宏觀蒙太奇思維、中觀敘事結構、微觀剪輯手法解讀《花樣年華》
中觀層面完成敘事結構、以及微觀層面的剪輯手法,3個層次來解讀下電影《花樣年華》的蒙太奇魅力。一、 宏觀層面:運用蒙太奇思維構建電影劇本雛形。蒙...
-
6. 為什么漫威、DC這類大片的電影特效如此燒錢？原因在這里
想知道為什么漫威、DC這類特效滿天飛的大片花費如此之高嗎？一秒鐘幾十萬上百萬的電影特效為何如此“貴”？快來了解電影特效制作的內(nèi)幕~
-
15種電影剪輯/轉場手法，讓影片更吸引眼球！回顧電影中豐富多樣的專場技巧，比如瞬間從一個場景中變換到空中... 現(xiàn)在是測試技術的時候了！以下是一些常見剪輯手法，讓你觀影過程更加華麗動人！
-
本文介紹了十款強大的PR視頻剪輯插件，幫助提升視頻剪輯效率，提高創(chuàng)作品質(zhì)，并降低創(chuàng)作難度。
-
9. 《肖申克的救贖》通過鏡頭語言，向觀眾展現(xiàn)了安迪自我救贖的過程
以突出劇情的緊張氛圍和角色的情感變化。此外,電影的拍攝手法和剪輯方案還與影片的敘事結構和主題緊密相連。導演巧妙地運用回憶、閃回和象征性鏡頭等...
-
想學習剪輯技術轉場的方法嗎？了解這九種技巧轉場方法，提升影片藝術感染力，讓你的視頻作品更加生動有趣！
最新文章
