OpenAI Point-E: テキストプロンプトから3Dポイントクラウドを生成
OpenAIは、複雑なテキストプロンプトから3Dポイントクラウドを生成するよう設計されたシステム、Point-Eを導入しました。2段階の拡散プロセスを利用することで、Point-Eは3Dモデルの生成に要する時間を複数GPU時間から単一GPUでわずか1〜2分に短縮します。
高速3D生成パイプライン
Point-Eは、3Dオブジェクト作成プロセスを2つの異なる拡散ステージに分割することで、迅速な生成速度を実現しています。
- Text-to-Image Diffusion: システムはまず、テキストから画像への拡散モデルを使用して、オブジェクトの単一の合成ビューを生成します。
- Image-to-Point Cloud Diffusion: 2番目の拡散モデルが生成された画像を条件として取り込み、最終的な3Dポイントクラウドを生成します。
このアーキテクチャにより、Point‑Eはテキスト条件付き3Dオブジェクト生成において、従来の最先端手法よりも1〜2桁速くサンプリングできるようになります。
パフォーマンスのトレードオフと機能
Point‑Eは速度を優先するため、出力品質にトレードオフがあります。OpenAIは、この手法がサンプル品質の面で依然として最先端には及ばないことを指摘しています。しかし、生成時間の大幅な短縮により、迅速なプロトタイピングや高速なイテレーションが求められるユースケースにおいて実用的な選択肢となります。
利用可能性とオープンソース
OpenAIは、事前学習済みのポイントクラウド拡散モデルと、関連する評価コードおよびモデルをGitHubを通じて一般に公開しました。