huangserva/3DCellForge

何を解決するか

3DCellForge（3Dモデルスタジオ）は、2D画像から3Dモデルを生成・検査するための統合的でインタラクティブなワークスペースを提供します。複数の画像から3DへのAIプロバイダーと別々の3Dビューアソフトウェアを切り替える必要がなく、生成、品質評価、プレゼンテーションを1つのスタジオ環境に統合することで、作業の効率を大幅に向上させます。

動作方法

このプロジェクトはReactとThree.jsで構築されたアプリケーションで、さまざまな画像から3DへのAIバックエンドに接続します。ユーザーは参照画像をアップロードし、生成プロバイダー（Hyper3D、Tripo、Fal.ai、またはローカルのHunyuan3Dインスタンスなど）を選択すると、システムはGLBファイルを生成します。

主な技術的要素は以下の通りです：

• WebGLステージ：React Three Fiberで構築された中央ビューアで、リアルタイムでのモデル検査とオービットコントロールが可能。
• バックエンド統合：Node.jsバックエンドがAPIキーを安全に管理し、生成されたモデルをローカルにキャッシュすることで、重複するAPI呼び出しを回避。
• AI分析：OpenAIのビジョン機能をオプションで統合し、アセットを自動分類し、マテリアルの提案やプロンプトの最適化を実施して、より良い3D生成を実現。
• 永続化：IndexedDBとlocalStorageを使用して、モデルライブラリと生成履歴がページのリフレッシュ後も保持されるようにします。

対象ユーザー

このツールは、画像から3Dアセットを迅速にプロトタイピングし、複雑な3Dソフトウェアを使わずにプロフェッショナルで映画的なスタイルでプレゼンテーションを行う必要がある3Dアーティスト、プロダクトデザイナー、開発者向けに設計されています。

特徴

• マルチプロバイダーサポート：Tripo、Fal.ai、Hyper3Dなどのクラウドプロバイダーと、ローカルのHunyuan3D APIの間をスムーズに切り替え可能。
• オブジェクト認識インスペクター：モデルを自動的に分類（例：車両、航空機、有機標本）し、特定のメタデータと品質スコアを提供。
• 映画的デモモード：UIパネルを非表示にし、アセットタイプに応じた自動カメラパス（例：航空機には飛行経路）を使用するプレゼンテーションモード。
• 統合品質スコアリング：三角形数、ファイルサイズ、テクスチャ数に基づいて生成されたGLBの品質を評価し、「デモ用に準備完了」と判断。
• ローカルGLBインポート：既存の.glbまたは.gltfファイルをインポートして検査・プレゼンテーションが可能。