vinhhien112/img2obj

解決する課題

img2objは、プロシージャルなThree.jsコードの生成プロセスを自動化することで、2D画像から3Dオブジェクトを手動で再作成するという課題を解決します。ピクセルを直接メッシュに変換するのではなく、構造化されたワークフローを使用して参照画像を分析し、元のシルエット、構造、素材を模倣する3Dモデルを構築するために必要なコードを書き込みます。

仕組み

このツールはCodexプラグインとして動作し、AIを多段階の再構築プロセスへと導きます：

1. 検証 (Validation): 参照画像が再構築に適しているか、品質と視認性をチェックします。
2. 計画 (Planning): オブジェクトの階層、ジオメトリ、マテリアル、およびアニメーションアンカー（ピボットとソケット）を定義する ObjectSculptSpec を作成します。
3. 段階的な構築 (Phased Building): モデルは段階的に構築されます。まず基本的なブロックアウトから始まり、洗練された形状、次にルックデベロップメント（素材）、最後にインタラクションの追加へと進みます。
4. レビュー (Review): 生成されたコードのブラウザレンダリングを元の画像と比較し、次のフェーズに進む前に承認を求めます。

対象者

アニメーションの準備が整っており、インポートされたメッシュではなく完全にコードで構築された、スタイリッシュな小道具、機械オブジェクト、植物、またはシーンアセットを必要とする、インタラクティブな3D Web体験を構築する開発者やクリエイター向けに設計されています。

ハイライト

• コードベースの生成: 静的なメッシュファイルの代わりに、プロシージャルなThree.jsジオメトリとTypeScriptファクトリを生成します。
• コード化された階層: 親子関係とソケットを計画し、モデルがアニメーションに対応できるようにします。
• 素材の抽出: 参照画像から粗さ（roughness）やノーマルマップなどのPBR（物理ベースレンダリング）のエビデンスを導き出します。
• 品質ゲート: 全体的なアイデンティティと重要な認識可能な特徴の両方を評価する特定の品質モデルを使用し、汎用的な出力になるのを防ぎます。