img2threejs: エージェント主導の彫刻により画像からオブジェクトを再構築するプロシージャルなThree.jsモデルジェネレータ

何を解決するか

img2threejsは、オブジェクトまたはキャラクターの単一の参照画像をプロシージャルなThree.jsモデルに変換します。フォトグラメトリやメッシュ抽出とは異なり、コードのみのジオメトリ、プリミティブ、プロシージャルシェーダーを使用してオブジェクトを再構築し、結果がAIエージェントにとってアニメーション対応かつトークン効率的であることを保証します。

仕組み

このプロジェクトは、決定論的なPythonスクリプトとAIエージェント（たとえば Claude Code）を統合した段階的な彫刻パイプラインを使用します。プロセスは、ビルドパスの厳格なシーケンスに従います：

1. 分析: システムは対象（オブジェクト、キャラクター、またはハイブリッド）を分類し、アイデンティティを定義する特徴（ベベル、ネジ、光沢など）の detailInventory を作成します。
2. 仕様: コンポーネントツリーとマテリアルを定義する ObjectSculptSpec JSON を作成します。
3. 反復彫刻: モデルはパス（ブロックアウト $ ightarrow$ 構造 $ ightarrow$ 形状の改良 $ ightarrow$ マテリアル $ ightarrow$ サーフェス $ ightarrow$ ライティング $ ightarrow$ インタラクション $ ightarrow$ 最適化）で構築されます。
4. レビューループ: 各パス後に、Pythonスクリプトがサイドバイサイド比較シート（参照 vs. レンダリング）を生成します。AIエージェントはレンダリングをレビューし、ビジョンスコアに基づいて continue、refine-spec、または refine-code のいずれかを決定します。
5. 出力: 最終結果は、アニメーション用のランタイム階層（ピボット、ソケット、コライダー）を持つ THREE.Group を返す TypeScript ファクトリ関数です。

対象者

重いメッシュファイルや手動モデリングに頼らず、画像から3Dアセットを生成したい開発者およびテクニカルアーティスト。特に、AIエージェントを使用して3D制作ワークフローを自動化する人々。

ハイライト

• コードのみの再構築: バイナリメッシュファイルではなくTypeScriptコードを生成し、アセットを差分可能かつバージョン管理可能にします。
• エージェント非依存: ビジョンとブラウザツールを持つ任意のエージェントで動作します（例： Claude Code, Codex）。
• トークン効率的: メカニカルなタスク（検証、PBR抽出、比較パッケージング）をPythonスクリプトにオフロードし、モデルトークンを節約します。
• アニメーション対応: スタティックメッシュを生成する代わりに、ピボットとソケットを含むランタイム階層を組み込みます。
• 厳格な品質ゲート: 仕様がオブジェクトの複雑さに匹配するほど十分に詳細になるまで、コード生成を防ぎます。