blendi-remade/falcraft

何を解決するか

falcraft は、Minecraft プレイヤーが AI を使ってゲーム内に複雑な 3D 構造物やオブジェクトを直接生成できるようにし、ブロック単位で手作業で細かいモデルを構築する必要や、外部の 3D モデリングソフトウェアを使う必要をなくします。

動作方法

この mod は fal.ai クラウド API に接続し、テキストプロンプトをゲーム内構造物に変換するマルチステップパイプラインを実行します：

1. 画像生成：Z-Image Turbo や Nano Banana Pro などのモデルを使って、テキストプロンプトから 2D 画像を生成します。
2. 3D 変換：SAM-3D や Hunyuan 3D などのパイプラインを使って、画像を 3D GLB モデルに変換します。
3. ボクセル化：三角形-ボクセル交差を使って、3D メッシュを Minecraft ブロックに変換します。
4. 色マッピング：CIE-LAB 感覚的色空間を使用して、モデルの色を 100 種類以上の Minecraft ブロックのパレットに一致させます。
5. 配置：アニメーション付きでレイヤーごとに構築される前に、プレイヤーが構造物を回転・移動できる「ゴーストプレビュー」が可能になります。

さらに、「FalTV」機能は、ローカルサイドカー・ブリッジを介して MiniMax H3 Max Director API を使用し、ゲーム内の壁にリアルタイムで生成された AI 動画をストリーミングします。

対象ユーザー

Fabric Loader を使用し、バージョン 1.21.1 を使っている Minecraft プレイヤーで、世界に詳細な AI 生成アーキテクチャ、生物、オブジェクトを素早く追加したい人。

特徴

• 複数の生成モード：標準生成モード、高品質 UV テクスチャ付きの「Craft」モード、リアルタイムジオメトリプレビュー用の「Stream」モードを含む。
• FalTV：チャットコマンドで操作可能な、リアルタイムで生成される AI テレビチャンネル。
• インタラクティブな配置：最終配置前に、生成された構造物の回転（ヨー、ピッチ、ロール）と移動を完全に制御可能。
• 自動ボクセル化：高精細な 3D AI モデルを、ブロックベースの Minecraft ジオメトリにシームレスに変換。