OpenAI Point-E:從文字提示生成 3D 點雲

OpenAI 推出 Point-E,一個旨在從複雜文字提示生成 3D 點雲的系統。透過使用兩階段擴散流程,Point-E 將產生 3D 模型所需的時間從多個 GPU 小時縮減至單顆 GPU 上僅需 1-2 分鐘。

高速 3D 生成管線

Point-E 透過將 3D 物件的創建過程分為兩個不同的擴散階段,達成快速生成速度:

  1. 文字到影像擴散:系統首先使用文字到影像的擴散模型生成物件的單一合成視圖。
  2. 影像到點雲擴散:第二個擴散模型將生成的影像作為條件,產生最終的 3D 點雲。

此架構使得 Point-E 的抽樣速度比先前的最先進文字條件 3D 物件生成方法快一至兩個量級。

效能取捨與能力

雖然 Point-E 優先考慮速度,但在輸出品質上有所取捨。OpenAI 指出,該方法在樣本品質方面仍未達到最先進水平。然而,顯著縮短的生成時間使其在需要快速原型設計或快速迭代的使用情境中成為實用的選擇。

可用性與開源

OpenAI 已透過 GitHub 向公眾釋出預訓練的點雲擴散模型,以及相關的評估程式碼與模型。

Sources