Meta的文生3D模型或將給3D創作生態帶來劇變。編譯 |陳駿達
編輯 |程茜
智東西7月3日消息，今日凌晨，Meta發佈了他們的文生3D模型Meta 3D Gen（簡稱3DGen），給文生3D賽道拋下一顆重磅炸彈。3DGen能在1分鐘時間裏根據文本提示詞快速生成3D資產（指製作3D動畫的數字化資源，如3D模型、紋理貼圖、材質等），速度是現有其它系統的3-10倍。它還能在同一3D形狀的基礎上快速調整紋理貼圖，幫助創作者實現快速迭代。基於物理的渲染技術（PBR）是3DGen最重要的特點。之前大部分3D生成模型都不具備這一功能，這給AI生成的3D資產的實際應用帶來不便。PBR能將3D模型的物理屬性融入到3D資產中，讓3D模型與模擬的物理世界的互動更爲自然，是創建逼真的影像和自然真實的環境的重要技術。支持PBR的3DGen能更好地融入遊戲開發者、電影后期製作者的工作流中。Meta還在技術文檔中詳細介紹了3DGen背後的技術方法。他們採取了兩步走的方式實現3D資產生成。一個名爲AssetGen的模型被用於生成基礎的3D形狀和紋理，另一個名爲TextureGen的模型專門用於生成質量更高的紋理，優化AssetGen的生成結果。
▲3DGen的演示視頻（圖源：Meta）採取這一技術路徑的3DGen在Meta進行的測試中獲得了專業創作者和普通人的高度評價，在提示詞忠實度、紋理質量、幾何性質和圖像質量上都獲得了比大多數3D生成模型更高的得分。
01.1分鐘生成高質量3D資產速度比現有其它系統快3-10倍
製作3D資產一直是設計和開發電子遊戲、VR/AR應用以及電影特效行業耗時最久且最具挑戰性的問題之一。Meta本次推出3DGen便是爲了給這一問題提供一個可能的解決方案。Meta在技術報告中稱，3D資產生成遠比圖像和視頻生成困難。在實際應用中的3D資產要求極高，目前並沒有大量現成的3D資產可供訓練。供圖像和視頻模型訓練的數據是數以十億計的，而可用於訓練的3D資產的數量要小3-4個數量級。因此，3D生成必須從非3D圖像和視頻中學習，並學會從2D的觀察中推斷出3D信息。3DGen支持複雜的文本提示，與其它文生3D方法相比，對文本提示的忠實度較高。Meta稱3DGen生成一個3D資產僅需不到1分鐘，速度比現有其它系統快3-10倍。在初始生成完成後，3DGen還可根據新提示詞給出的需求，在20秒內重新調整原3D資產的紋理。Meta目前並未公開測試這一系統，但他們在社交媒體X上公佈了一段3分鐘的視頻，具體展示了這一模型的生成效果和功能。下方生成結果的提示詞是“a pug made out of metal（一隻金屬的哈巴狗）”。生成結果完全符合提示詞內容，畫面中這隻金屬的哈巴狗的3D網格（3D模型的框架）結構符合真實世界中哈巴狗的外貌，紋理清晰度和分辨率也比較理想。
▲3DGen能生成紋理質量較高的3D資產（圖源：Meta）Meta在X上分享的視頻中還展示了3DGen的紋理調整功能。這一功能讓3DGen按照指定風格改變整個場景中的紋理。在下方的演示視頻中，測試人員輸入了恐怖片、像素風等提示詞，3DGen快速地生成了指定風格的3D紋理。這些紋理被統一地運用到了場景內的所有3D形象上，生成質量較好。
▲3DGen能根據提示詞給同一3D網格賦予不同的紋理（圖源：Meta）
02.支持基於物理的渲染和人工3D網格輸入更易融入創作者工作流
過去，AI生成的3D資產通常不具備真實的光照和材質屬性，從而限制了它們在專業工作流程中的實用性。3DGen系統支持基於物理的渲染（PBR）和人類藝術家3D網格輸入，這能讓創作者更便捷地將3DGen生成的3D資產融入到自己的工作流中。PBR技術將一些基於物理規律的屬性信息到了3D貼圖中，如某一特定材質的反照率、粗糙度、金屬度、不透明度、折射效果、自發光等。這項技術的運用讓計算機不僅能理解3D資產的形狀，還能理解3D資產會如何與光線等物理世界的因素產生交互作用，這對創建逼真的影像和自然真實的環境是不可或缺的，還能確保創作過程中的一致性。這項技術目前已經廣泛運用於建築可視化、遊戲、VR/AR、電影特效製作等行業，是創作高質量3D資產的重要方式。支持PBR技術的3DGen生成的3D形象不僅在處於靜態時擁有較高的質量，也能在3D形象移動時保持極高的真實性。在Meta的宣傳視頻中，他們輸入了“a futuristic robot（未來風的機器人）”這一提示詞，並讓3D計算機圖形技術公司Mixamo完成了這一3D資產的人物動作自動綁定和動畫。畫面中，機器人在舞動時表面金屬的光澤變化十分真實，這便是PBR技術的功勞。
▲動起來的3DGen生成結果（圖源：Meta）3DGen支持人類藝術家創作的3D網格輸入，這一功能頗具實用性。在長期的創作過程中，藝術家或者企業已經積累了大量人工製作的3D網格，這些網格的質量一般都會高於AI生成的網格。3DGen可以在人類藝術家製作的3D網格基礎上，用AI給網格賦予多樣的紋理，在快速生成的同時保持生成結果質量的相對穩定。下方圖像中是一個人類藝術家製作的無紋理3D網格。
▲無紋理3D網格（圖源：Meta）在輸入“a majestic monarch butterfy（一隻威嚴的帝王蝶）”和“a magical butterfly, arcane sigils on its wings, sparkling（一隻神祕的蝴蝶，翅膀上有神祕的符文，閃閃發光）”這兩個提示詞後，3DGen就能讓這隻無紋理的蝴蝶變得栩栩如生。
▲基於無紋理3D網格生成的3D資產（圖源：Meta）
03.兩大關鍵組件實現高質量3D生成忠實度和紋理質量遠超其他模型
Meta介紹了3DGen的技術原理。他們將3D生成分爲兩個步驟，並分別使用了兩個組件，一個用於文本到3D生成，另一個用於文本到紋理生成，這一方法顯著提高了3D生成的效果。用於文本到3D生成的模型名爲Meta 3D AssetGen（簡稱AssetGen），它主要用於創建初始的3D資產，也就是帶有較爲粗糙的紋理和PBR材質貼圖的3D網格（類似上文展示的無紋理蝴蝶）。這一過程耗時僅爲30秒。用於文本到紋理生成的模型名爲Meta 3D TextureGen（簡稱TextureGen），它能爲這一3D資產生成質量更高的紋理和PBR貼圖，或是創建不同風格的紋理。這一過程僅需20秒便可完成。
3DGen在物體和組合場景中的忠實度排名第一，而在人物的忠實度上表現略遜於其它模型。
在忠實度、圖像質量、紋理質量和幾何性質上，3DGen都具有壓倒性的優勢。
3D打印出來會是不錯的嘗試，也有網友認爲這將徹底改變遊戲開發行業的規則。
04.結語：3D生成技術再進化常規3D建模人員首當其衝
AI 3D生成技術的快速發展對實現3D建模行業的技術進階有重大意義。人工3D建模費時費力，在遊戲和影視作品中運用3D形象在過去是屬於少數大型公司的特權，AI 3D生成技術能簡化3D建模流程，縮短3D建模時間。目前，已有不少行業使用了3D生成技術。美國3D生成創企Meshy AI發佈的免費3D模型Meshy目前已被大量獨立遊戲開發者使用，讓幾個人的小團隊也能開發出真實度極高的遊戲。然而，這項技術的出現也引發了人們對3D建模這一職業未來的疑問。雖然3DGen可能會提高3D藝術家的生產力，但它也可能減少對某些類型的常規3D資產創建的需求。或許在未來，創作者需要更關注那些AI難以複製的創意方向，或是從事更爲複雜的定製工作。來源：Meta、VentureBeat（本文系網易新聞•網易號特色內容激勵計劃簽約賬號【智東西】原創內容，未經賬號授權，禁止隨意轉載。