說(shuō)明：文中所有的配圖均來(lái)源于網(wǎng)絡(luò)

日前，騰訊混元3D迎來(lái)重大升級(jí)，推出業(yè)界首個(gè)美術(shù)級(jí)3D生成大模型——Hunyuan3D-PolyGen。

該模型結(jié)合騰訊自研的高壓縮率表征BPT技術(shù)，能夠生成面數(shù)達(dá)上萬(wàn)面的復(fù)雜幾何模型。其布線精度更高、細(xì)節(jié)更豐富，還同時(shí)支持三邊面和四邊面，可滿足不同專業(yè)管線的多樣化需求?；诖?，混元3D資產(chǎn)可無(wú)縫應(yīng)用于UGC游戲資產(chǎn)生成，顯著提升美術(shù)師的建模效率。

目前，這一能力已在騰訊混元3D AI創(chuàng)作引擎上線（體驗(yàn)地址：3d.hunyuan.tencent.com），誠(chéng)邀大家體驗(yàn)。同時(shí)，該技術(shù)也集成到騰訊多個(gè)游戲管線中，助力美術(shù)師建模效率提升超70%。該模型旨在解決3D資產(chǎn)生成中布線質(zhì)量不佳和復(fù)雜物體建模困難的問(wèn)題，提升美術(shù)師工作效率。

當(dāng)前，3D生成算法在幾何建模上雖有顯著進(jìn)展，但生成的模型與美術(shù)制作專業(yè)標(biāo)準(zhǔn)仍有差距，難以直接用于游戲開(kāi)發(fā)等專業(yè)場(chǎng)景。主要問(wèn)題有三：一是生成網(wǎng)格面數(shù)過(guò)高，動(dòng)輒數(shù)十萬(wàn)，無(wú)法滿足游戲?qū)崟r(shí)加載與渲染需求；二是布線質(zhì)量欠佳，網(wǎng)格布線雜亂，影響模型美觀，還阻礙后續(xù)UV展開(kāi)、骨骼綁定等環(huán)節(jié)；三是編輯難度大，生成結(jié)果為單一整體網(wǎng)格，難以拆分，限制了美術(shù)師后期編輯。為攻克這些難題，PolyGen進(jìn)行了一系列技術(shù)創(chuàng)新。

為實(shí)現(xiàn)3D生成從“可看”邁向“可用”，Hunyuan3D-PolyGen采用自回歸網(wǎng)格生成框架。它借助顯式、離散的頂點(diǎn)與面片建模開(kāi)展空間推理，進(jìn)而生成高質(zhì)量、契合美術(shù)規(guī)范的3D模型。其核心流程（見(jiàn)圖2）分三步：第一步是網(wǎng)格序列化，把網(wǎng)格的頂點(diǎn)與面片轉(zhuǎn)換成Token序列，以此表示Mesh結(jié)構(gòu)；第二步為自回歸建模，以點(diǎn)云作為輸入Prompt，通過(guò)自回歸模型生成Mesh的Token序列；第三步是序列解碼，將生成的Token序列反向解碼成頂點(diǎn)與面片，最終重建出3D網(wǎng)格。

1、難點(diǎn)聚焦：對(duì)于復(fù)雜物體的建模

現(xiàn)有mesh自回歸方法存在明顯短板，表達(dá)一個(gè)面需9個(gè)token（一個(gè)面片含三個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)對(duì)應(yīng)三個(gè)坐標(biāo)），mesh表達(dá)冗余度高。受限于有限的上下文窗口，該方法僅能對(duì)低面片（2k面以下）的簡(jiǎn)單模型進(jìn)行建模，難以滿足復(fù)雜物體的建模需求。

破局之策：自研高壓縮率表征BPT

為提升可建模面數(shù)、實(shí)現(xiàn)復(fù)雜mesh建模，我們自主研發(fā)了高壓縮率mesh表征BPT（Blocked and Patchified Tokenization）。通過(guò)精心設(shè)計(jì)block索引和patch壓縮機(jī)制，讓表達(dá)相同mesh所需的token序列大幅縮短，有效突破了現(xiàn)有方法的局限，為復(fù)雜物體建模提供了有力支撐，具體效果如下圖所示：

block索引：精簡(jiǎn)頂點(diǎn)表征，降低token數(shù)量

將網(wǎng)格空間劃分成多個(gè)block，把頂點(diǎn)的(x,y,z)空間坐標(biāo)轉(zhuǎn)化為(block, offset)索引坐標(biāo)。如此一來(lái)，token數(shù)量能有效降低33%，從源頭減少了數(shù)據(jù)冗余，為后續(xù)的壓縮處理奠定基礎(chǔ)。

patch壓縮：優(yōu)化面片組合，進(jìn)一步削減token

把相鄰面片組成patch（包含一個(gè)中心頂點(diǎn)和邊緣頂點(diǎn)），減少相鄰面片共用頂點(diǎn)的冗余。再結(jié)合共享block等技巧，token數(shù)量可進(jìn)一步降低約41%。

通過(guò)上述BPT壓縮算法，表征mesh的token數(shù)量可壓縮74%，平均2.3個(gè)token就能表征一個(gè)面，大幅提升模型可建模面數(shù)。從下圖能明顯看出，相較于現(xiàn)有mesh自回歸方法，該方法可建模的模型更復(fù)雜（可達(dá)2w + 面），細(xì)節(jié)也更為豐富。

2、難點(diǎn)聚焦：mesh自回歸生成穩(wěn)定性難題

mesh自回歸生成面臨的一大挑戰(zhàn)是穩(wěn)定性欠佳，同一模型多次生成的結(jié)果可能差異顯著，如圖5所示。這主要有兩方面原因：其一，mesh生成容錯(cuò)率低，一個(gè)坐標(biāo)生成錯(cuò)誤就可能導(dǎo)致整體生成失?。黄涠?，mesh的token序列較長(zhǎng)，可達(dá)上十萬(wàn)，這無(wú)疑增加了出錯(cuò)的概率。

破局之策：引入強(qiáng)化學(xué)習(xí)后訓(xùn)練

為解決這一問(wèn)題，騰訊研發(fā)了mesh自回歸的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架，如圖6所示。該框架在預(yù)訓(xùn)練模型基礎(chǔ)上開(kāi)展后訓(xùn)練，精心設(shè)計(jì)穩(wěn)定生成和美術(shù)規(guī)范獎(jiǎng)勵(lì)機(jī)制，以此引導(dǎo)模型生成更優(yōu)結(jié)果。借助強(qiáng)化學(xué)習(xí)，模型生成“好結(jié)果”的概率得以提升，生成“差結(jié)果”的概率降低，進(jìn)而有效提升了mesh自回歸生成的穩(wěn)定性，為高質(zhì)量3D模型生成提供了有力保障。

Hunyuan3D-PolyGen 與 Mesh 自回歸 SOTA 算法對(duì)比

在 3D 模型生成領(lǐng)域，傳統(tǒng)的 mesh 自回歸方法在處理復(fù)雜物體時(shí)，常出現(xiàn)模型破損、細(xì)節(jié)缺失、布線雜亂無(wú)章等狀況，嚴(yán)重影響生成質(zhì)量。而騰訊推出的混元 3D-PolyGen 表現(xiàn)卓越，在生成的穩(wěn)定性、細(xì)節(jié)豐富度以及布線質(zhì)量等多個(gè)關(guān)鍵維度上，均全面超越當(dāng)前表現(xiàn)最優(yōu)的 SOTA 模型，為復(fù)雜物體的高質(zhì)量 3D 生成提供了更優(yōu)解決方案。

Hunyuan3D-PolyGen 與業(yè)界重拓?fù)浣涌趯?duì)比

為解決面數(shù)和布線難題，業(yè)界常借助傳統(tǒng)圖形學(xué)重拓?fù)渌惴▋?yōu)化布線?，F(xiàn)有重拓?fù)浞椒m能生成規(guī)整布線，但面片大小分布均勻，在低面數(shù)設(shè)定下，會(huì)導(dǎo)致模型細(xì)節(jié)大量丟失。相比之下，混元 3D-PolyGen 可依據(jù)幾何結(jié)構(gòu)自適應(yīng)分配面數(shù)，以更低面數(shù)實(shí)現(xiàn)更精細(xì)的細(xì)節(jié)呈現(xiàn)。

輸入

效果