首頁 > 科技要聞 > 科技> 正文

風(fēng)口預(yù)警！Meta一分鐘文本轉(zhuǎn)3D模型炸場，游戲規(guī)則已改變，賽道著火了

量子位 整合編輯：太平洋科技 發(fā)布于：2024-07-04 15:05

Meta放大招！發(fā)布3D生成最新成果——Meta 3D Gen。

號稱1分鐘內(nèi)即可文本端到端高質(zhì)量轉(zhuǎn)3D，包括高質(zhì)量紋理和基于PBR材質(zhì)（基于物理的渲染）貼圖的3D Mesh。

支持修改已有的3D對象/模型的紋理。

例如，編織風(fēng)：

像素風(fēng)：

暗黑恐怖風(fēng)：

單拎出來一只金屬哈巴修狗，毛發(fā)紋理等各種細(xì)節(jié)拉滿：

搭配其它工具裝上骨架讓3D模型動(dòng)起來，效果也可以用“精細(xì)”兩字形容：

有網(wǎng)友看到此效果直呼“改變行業(yè)游戲規(guī)則”、“改變工作流程”。

還有不少網(wǎng)友認(rèn)為生成的模型可以直接3D打印了：

不過，這次Meta 3D Gen的發(fā)布木有代碼，木有Demo可玩。

與效果一同發(fā)布的，是一份技術(shù)報(bào)告以及兩篇論文，介紹了Meta 3D Gen背后用于文本到3D生成和文本到紋理生成的方法。

3D對象生成器+紋理生成器

翻看技術(shù)報(bào)告，原來Meta 3D Gen是一種組合系統(tǒng)，基于Meta另外兩項(xiàng)研究，即同時(shí)發(fā)布的兩篇論文：Meta 3D AssetGen、Meta 3D TextureGen。


Meta 3D AssetGen用于文本到3D對象的生成（第一階段），Meta 3D TextureGen用于文本到紋理的生成（第二階段），兩者是Meta 3D Gen的關(guān)鍵組件。

AssetGen負(fù)責(zé)從文本描述生成完整的3D對象，其工作流程大致為:

1）用一個(gè)神經(jīng)網(wǎng)絡(luò)根據(jù)文本描述生成多個(gè)2D視圖；
2）使用另一個(gè)神經(jīng)網(wǎng)絡(luò)從這些2D視圖重建3D Mesh和初始紋理；
3）通過融合重投影的紋理來優(yōu)化初始紋理。

TextureGen負(fù)責(zé)為給定的3D對象生成紋理。它接收一個(gè)3D對象（包含形狀和UV坐標(biāo)信息等）和一個(gè)文本描述作為輸入，工作流程大致為:

1）使用一個(gè)神經(jīng)網(wǎng)絡(luò)生成這個(gè)3D對象的多個(gè)2D視圖；
2）將這些2D視圖重新投影到對應(yīng)的紋理圖像上；
3）另一個(gè)神經(jīng)網(wǎng)絡(luò)將這些紋理和原始文本描述結(jié)合，生成一個(gè)完整的UV紋理；
4）可以選擇使用一個(gè)超分辨率網(wǎng)絡(luò)來提高紋理的分辨率。

值得一提的是，TextureGen中的紋理融合和增強(qiáng)網(wǎng)絡(luò)基于3D藝術(shù)家提供的“真實(shí)”UV圖進(jìn)行訓(xùn)練，與AssetGen生成的自動(dòng)提取的UV圖大有不同。

而Meta 3D Gen集成了這兩種方法，所以整體流程是：

首先使用AssetGen生成初始的3D形狀和UV映射。然后，使用TextureGen的第一個(gè)網(wǎng)絡(luò)，基于這個(gè)3D形狀生成更高質(zhì)量的2D視圖。接著，使用TextureGen的第二個(gè)網(wǎng)絡(luò)，從這些高質(zhì)量視圖生成統(tǒng)一的UV紋理。最后，使用AssetGen的紋理優(yōu)化網(wǎng)絡(luò)進(jìn)行最終的紋理融合和增強(qiáng)。

以下是在Meta 3D Gen在第一階段（左）和第二階段（右）后的視覺對比：

方法細(xì)節(jié)，感興趣的家人們可以查看技術(shù)報(bào)告和論文，重點(diǎn)來看效果測試。

404個(gè)文本提示評估

基準(zhǔn)測試部分，Meta 3D Gen的比較對象包括：CSM Cube 2.0、Tripo3D、Rodin Gen-1 V0.5、Meshy v3和一個(gè)第三方文本轉(zhuǎn)3D生成器。

定量比較方面，Meta使用了404個(gè)來自DreamFusion的不同文本提示（分為物體、角色和組合場景三類，難度由低到高）讓模型進(jìn)行3D生成。

然后讓普通用戶和專業(yè)3D藝術(shù)家對模型在不同測試類別中的表現(xiàn)進(jìn)行評估和打分，評估指標(biāo)包括提示保真度、整體視覺質(zhì)量、幾何質(zhì)量和紋理質(zhì)量。

評估針對每個(gè)模型單獨(dú)進(jìn)行或通過隨機(jī)A/B測試來比較不同模型的表現(xiàn)。

根據(jù)Meta的測試結(jié)果，首先在生成時(shí)間方面，Meta 3D Gen僅需1分鐘，超越所有其它方法（3分鐘到1小時(shí)不等）：

文本提示保真度，即模型的生成與文本prompt的符合度，Meta 3D Gen和其它模型的比較結(jié)果如下：

整體Meta 3D Gen效果最佳，Tripo3D、Third-part T23D generator與其相差不大，CSM Cube 2.0、Rodin Gen-1 V0.5稍顯遜色。

值得一提的是，用于對比的工業(yè)基線中，Tripo3D來自國內(nèi)玩家VAST，Meshy則是胡淵鳴在太極圖形之后創(chuàng)辦的獨(dú)立新品牌。

在難度最高的組合類場景生成中，Tripo3D排名第二，與Meta 3D Gen相近，但卻在最簡單的物體生成上表現(xiàn)不如Meta，拉低了整體評分。

A/B測試方面，主要是為了比較Meta 3D Gen和那些同時(shí)生成紋理和使用PBR材料的基準(zhǔn)模型。所有用戶、僅專業(yè)3D藝術(shù)家的評估結(jié)果分別如下，Meta 3D Gen在大多數(shù)指標(biāo)上表現(xiàn)優(yōu)于競爭者：

此外，Meta還分析了不同3D生成模型在處理不同復(fù)雜度的場景時(shí)的性能，下圖是Meta 3D Gen與基線方法相比的勝率。

縱坐標(biāo)是Meta win rate，低于50%說明對比方法比Meta好，折線越低方法越好。

結(jié)果顯示，隨著場景復(fù)雜度增加，例如從單一對象過渡到包含多個(gè)角色和元素的復(fù)合場景生成，Meta 3DGen的表現(xiàn)開始顯著優(yōu)于其它模型。

接下來再看定性比較。

相同提示詞，不同模型文本提示保真度對比是這樣?jì)饍旱模?/p>

除了Meta 3D Gen，Tripo3D表現(xiàn)也不錯(cuò)，比如第一個(gè)生成帶有“GenAI”logo的金屬羊駝的例子，Meta 3D Gen雖然在logo生成上表現(xiàn)很好，但腿部生成明顯有缺陷，而Tripo3D的腿部生成更勝一籌，且紋理細(xì)節(jié)也很好。第二個(gè)壽司測試，CSM則表現(xiàn)優(yōu)異。

第三個(gè)“半獸人在砧板上鍛造錘子”的例子，Tripo3D和Meta各有優(yōu)勢。Tripo3D紋理和幾何細(xì)節(jié)更豐富、orc更保真、“鍛造錘子”也展現(xiàn)出來了；Meta的砧板相對好些，但整體紋理細(xì)節(jié)差些。

其它幾個(gè)模型的結(jié)果語義丟失嚴(yán)重。

此外，針對紋理的對比結(jié)果如下，在下面的這張圖中，Meta 3D Gen的紋理細(xì)節(jié)處理的很細(xì)致：

3D生成賽道真熱鬧

Meta 3D Gen的發(fā)布，無疑給持續(xù)升溫的3D生成賽道又添了一把火。

在對比測試中，也不乏國內(nèi)玩家的身影，比如Tripo 3D就是由AI初創(chuàng)公司VAST在今年初推出的3D生成大模型。

VAST創(chuàng)始人兼CEO為宋亞宸，此前在商湯負(fù)責(zé)AIGC技術(shù)在動(dòng)畫及游戲等行業(yè)實(shí)際落地，也曾參與創(chuàng)立AI獨(dú)角獸Minimax。CTO梁鼎是商湯的通用模型負(fù)責(zé)人、首席科學(xué)家曹炎培曾在騰訊AI Lab領(lǐng)導(dǎo)AIGC 3D方向的研發(fā)工作。

此外，Meshy模型也是由國內(nèi)玩家打造。

Meshy聯(lián)合創(chuàng)始人兼CEO是計(jì)算機(jī)圖形學(xué)知名學(xué)者胡淵鳴，胡淵鳴畢業(yè)于清華大學(xué)姚班，也是MIT博士、太極（TaiChi）編程語言作者。

說回Meta 3D Gen，雖然根據(jù)Meta的技術(shù)報(bào)告，Meta 3D Gen的表現(xiàn)在很多方面超過了基準(zhǔn)模型，不過也有人對此測試結(jié)果表示存疑。

首先在生成時(shí)間上，就有網(wǎng)友表示給CSM Cube 2.0標(biāo)的時(shí)間不準(zhǔn)確：

據(jù)量子位測試，其實(shí)Tripo3D最新Web版生成時(shí)間也縮短了，Stage1是10秒左右，Stage2現(xiàn)在只需要2分鐘。

據(jù)量子位在Tripo Discord beta頻道測試，Tripo3D新版幾何質(zhì)量也有了進(jìn)一步提升：

Tripo團(tuán)隊(duì)發(fā)文表示更好的幾何和PBR都在路上了：

另一邊，胡淵鳴也發(fā)推文表示，Meshy很快就會(huì)發(fā)布速度提升10倍的模型。

Rodin團(tuán)隊(duì)也出面表示歡迎Meta加入3D生成賽道，未來想制定更綜合和合理的3D生成評判標(biāo)準(zhǔn)。

除此之外還有網(wǎng)友認(rèn)為，沒有Demo大家又玩不上，對于Meta 3D Gen很難評。

雀食，Tripo3D、Meshy等模型都是可以玩的。

而且還不是簡單玩玩，開頭網(wǎng)友說的3D打印甚至已經(jīng)落地了。

就拿Tripo3D來說，不僅在全球最大的3D素材交易網(wǎng)站-CG模型網(wǎng)已上線藝術(shù)家內(nèi)測版本：

而且已經(jīng)和全球家用3D打印機(jī)龍頭企業(yè)們達(dá)成合作，拓竹的Markerworld和Anycubic旗下的模型社區(qū)網(wǎng)站Makeronline等都已上線，3D打印愛好者們可以嘗試起來了！


在行業(yè)探索上，Meshy之前和Snap達(dá)成合作上線了AI 3D特效，CSM則做了更多產(chǎn)品化的探索，上線了Cube。

全球AI藝術(shù)家也在3D生成賽道上卷起來了，Tripo上個(gè)月做了全球第一個(gè)AI 3D全球渲染大賽，目前正在和CivitAI一起舉辦AI電影大賽Project Odyssey。

這次潑天的熱度算是落到3D生成賽道了。

參考鏈接：
[1]https://x.com/AIatMeta/status/1808157832497488201
[2]https://ai.meta.com/research/publications/meta-3d-gen/
[3]https://x.com/tripoai/status/1808427964339470445
[4]https://x.com/DeemosTech/status/1808207652188836020
[5]https://x.com/YuanmingH/status/1808352082824683818

本文來源：量子位

網(wǎng)友評論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部