hoainho/img2threejs

解決する課題

単一の参照画像から高品質でアニメーション可能な3Dモデルに変換する際の困難さを解決します。重いメッシュファイルやフォトグラメトリを使用する代わりに、ウェブブラウザで直接レンダリング可能な軽量なプロシージャルコードを生成します。

仕組み

このプロジェクトは、AIエージェント（Claude Codeなど）が彫刻師として機能する、段階的なスカルプト・パイプラインを使用しています。プロセスは、ブロックアウト、構造パス、形状の洗練、マテリアルパス、サーフェスパス、ライティングパス、インタラクションパス、最適化パスという厳格な順序に従います。各ステージは、参照画像に対して作業を検証するPythonスクリプトによって制御されています。エージェントは、次のステージに進む前に、サイドバイサイドのレンダリングとオリジナルを比較する視覚的レビューに合格する必要があります。これにより、最終的な出力が、プリミティブ、プロシージャルシェーダー、および生成されたジオメトリを使用してオブジェクトを構築するTypeScriptファクトリになることが保証されます。

対象者

• ゲーム開発者: 軽量なコードベースの3Dアセットを求めている方。
• Web開発者: 大容量ファイルのダウンロードなしに、アニメーション可能なThree.jsモデルを必要としている方。
• AIエンジニア: 3Dアセット生成のためのエージェント・ワークフローを構築している方。

ハイライト

• トークン効率の高い設計: 検証と記帳には決定論的なPythonスクリプトを使用し、高価なLLMトークンは視覚的な判断のみに使用します。
• アニメーション対応: ピボット、ソケット、コライダーを含むランタイム階層を生成します。
• プロシージャル再構築: メッシュを抽出するのではなく、コード（プリミティブとシェーダー）からオブジェクトを再構築します。
• エージェントに依存しない: スキルベースのアーキテクチャを通じて、さまざまなAIコーディングツールやビジョンモデルで動作するように設計されています。