說明：文中所有的配圖均來源于網(wǎng)絡

日前，騰訊混元3D迎來重大升級，推出業(yè)界首個美術級3D生成大模型——Hunyuan3D-PolyGen。

該模型結合騰訊自研的高壓縮率表征BPT技術，能夠生成面數(shù)達上萬面的復雜幾何模型。其布線精度更高、細節(jié)更豐富，還同時支持三邊面和四邊面，可滿足不同專業(yè)管線的多樣化需求。基于此，混元3D資產(chǎn)可無縫應用于UGC游戲資產(chǎn)生成，顯著提升美術師的建模效率。

目前，這一能力已在騰訊混元3D AI創(chuàng)作引擎上線（體驗地址：3d.hunyuan.tencent.com），誠邀大家體驗。同時，該技術也集成到騰訊多個游戲管線中，助力美術師建模效率提升超70%。該模型旨在解決3D資產(chǎn)生成中布線質(zhì)量不佳和復雜物體建模困難的問題，提升美術師工作效率。

當前，3D生成算法在幾何建模上雖有顯著進展，但生成的模型與美術制作專業(yè)標準仍有差距，難以直接用于游戲開發(fā)等專業(yè)場景。主要問題有三：一是生成網(wǎng)格面數(shù)過高，動輒數(shù)十萬，無法滿足游戲?qū)崟r加載與渲染需求；二是布線質(zhì)量欠佳，網(wǎng)格布線雜亂，影響模型美觀，還阻礙后續(xù)UV展開、骨骼綁定等環(huán)節(jié)；三是編輯難度大，生成結果為單一整體網(wǎng)格，難以拆分，限制了美術師后期編輯。為攻克這些難題，PolyGen進行了一系列技術創(chuàng)新。

為實現(xiàn)3D生成從“可看”邁向“可用”，Hunyuan3D-PolyGen采用自回歸網(wǎng)格生成框架。它借助顯式、離散的頂點與面片建模開展空間推理，進而生成高質(zhì)量、契合美術規(guī)范的3D模型。其核心流程（見圖2）分三步：第一步是網(wǎng)格序列化，把網(wǎng)格的頂點與面片轉(zhuǎn)換成Token序列，以此表示Mesh結構；第二步為自回歸建模，以點云作為輸入Prompt，通過自回歸模型生成Mesh的Token序列；第三步是序列解碼，將生成的Token序列反向解碼成頂點與面片，最終重建出3D網(wǎng)格。

1、難點聚焦：對于復雜物體的建模

現(xiàn)有mesh自回歸方法存在明顯短板，表達一個面需9個token（一個面片含三個頂點，每個頂點對應三個坐標），mesh表達冗余度高。受限于有限的上下文窗口，該方法僅能對低面片（2k面以下）的簡單模型進行建模，難以滿足復雜物體的建模需求。

破局之策：自研高壓縮率表征BPT

為提升可建模面數(shù)、實現(xiàn)復雜mesh建模，我們自主研發(fā)了高壓縮率mesh表征BPT（Blocked and Patchified Tokenization）。通過精心設計block索引和patch壓縮機制，讓表達相同mesh所需的token序列大幅縮短，有效突破了現(xiàn)有方法的局限，為復雜物體建模提供了有力支撐，具體效果如下圖所示：

block索引：精簡頂點表征，降低token數(shù)量

將網(wǎng)格空間劃分成多個block，把頂點的(x,y,z)空間坐標轉(zhuǎn)化為(block, offset)索引坐標。如此一來，token數(shù)量能有效降低33%，從源頭減少了數(shù)據(jù)冗余，為后續(xù)的壓縮處理奠定基礎。

patch壓縮：優(yōu)化面片組合，進一步削減token

把相鄰面片組成patch（包含一個中心頂點和邊緣頂點），減少相鄰面片共用頂點的冗余。再結合共享block等技巧，token數(shù)量可進一步降低約41%。

通過上述BPT壓縮算法，表征mesh的token數(shù)量可壓縮74%，平均2.3個token就能表征一個面，大幅提升模型可建模面數(shù)。從下圖能明顯看出，相較于現(xiàn)有mesh自回歸方法，該方法可建模的模型更復雜（可達2w + 面），細節(jié)也更為豐富。

2、難點聚焦：mesh自回歸生成穩(wěn)定性難題

mesh自回歸生成面臨的一大挑戰(zhàn)是穩(wěn)定性欠佳，同一模型多次生成的結果可能差異顯著，如圖5所示。這主要有兩方面原因：其一，mesh生成容錯率低，一個坐標生成錯誤就可能導致整體生成失?。黄涠?，mesh的token序列較長，可達上十萬，這無疑增加了出錯的概率。

破局之策：引入強化學習后訓練

為解決這一問題，騰訊研發(fā)了mesh自回歸的強化學習后訓練框架，如圖6所示。該框架在預訓練模型基礎上開展后訓練，精心設計穩(wěn)定生成和美術規(guī)范獎勵機制，以此引導模型生成更優(yōu)結果。借助強化學習，模型生成“好結果”的概率得以提升，生成“差結果”的概率降低，進而有效提升了mesh自回歸生成的穩(wěn)定性，為高質(zhì)量3D模型生成提供了有力保障。

Hunyuan3D-PolyGen 與 Mesh 自回歸 SOTA 算法對比

在 3D 模型生成領域，傳統(tǒng)的 mesh 自回歸方法在處理復雜物體時，常出現(xiàn)模型破損、細節(jié)缺失、布線雜亂無章等狀況，嚴重影響生成質(zhì)量。而騰訊推出的混元 3D-PolyGen 表現(xiàn)卓越，在生成的穩(wěn)定性、細節(jié)豐富度以及布線質(zhì)量等多個關鍵維度上，均全面超越當前表現(xiàn)最優(yōu)的 SOTA 模型，為復雜物體的高質(zhì)量 3D 生成提供了更優(yōu)解決方案。

Hunyuan3D-PolyGen 與業(yè)界重拓撲接口對比

為解決面數(shù)和布線難題，業(yè)界常借助傳統(tǒng)圖形學重拓撲算法優(yōu)化布線?，F(xiàn)有重拓撲方法雖能生成規(guī)整布線，但面片大小分布均勻，在低面數(shù)設定下，會導致模型細節(jié)大量丟失。相比之下，混元 3D-PolyGen 可依據(jù)幾何結構自適應分配面數(shù)，以更低面數(shù)實現(xiàn)更精細的細節(jié)呈現(xiàn)。

輸入

效果