NVIDIA發布新的人工智慧模型，可以根據文本描述生成3D模型

近日，英偉達（NVIDIA）的研究人員發布了 Magic3D，這是一種人工智慧模型，可以根據文本描述生成3D模型。在輸入諸如「一隻藍色毒鏢青蛙坐在睡蓮上」這樣的提示后，Magic3D 在大約40分鐘內生成了一個帶有彩色紋理的3D網格模型。經過修改，得到的模型可以用於視頻遊戲或CGI藝術場景。<br />
在其學術論文中，NVIDIA將 Magic3D 定義為對 DreamFusion 的回應，DreamFusion是谷歌研究人員在9月份宣布的一種文本到3D的模型。與 DreamFusion 使用文本到圖像模型來生成2D圖像，然後將其優化為體積 NERF（神經輻射場）數據的方式類似，Magic3D使用了一個兩階段過程，該過程採用以低解析度生成的粗略模型，並將其優化到較高解析度。根據論文作者的說法，Magic3D方法生成3D對象的速度比 DreamFusion 快兩倍。<br />
Magic3D還可以對3D網格進行基於提示的編輯。比如，給定一個低解析度的3D模型和一個基本提示符，可以通過修改文本來更改結果模型。此外，Magic3D的作者還演示了在幾代作品中保持相同的主題（通常稱為一致性的概念），並將2D圖像的風格（如立體派繪畫）應用到3D模型。但是，英偉達沒有在發表學術論文的同時發布任何Magic3D代碼。<br />
從文本生成3D的能力，感覺就像是當今擴散模型的自然進化，