mindcraft-bots/mindcraft

解決する課題

Mindcraftを使用すると、大規模言語モデル（LLM）を活用してゲーム世界と対話し、タスクを実行し、コミュニケーションをとることができるインテリジェントなMinecraftエージェントを作成できます。これは、高レベルなLLMの推論能力と、Minecraft環境を操作するために必要な低レベルなゲームアクションとの間のギャップを埋めるものです。

仕組み

このプロジェクトは、Mineflayer APIを使用してMinecraft Java Editionとインターフェース接続します。LLM（OpenAI、Google、Anthropicなどの様々なAPIプロバイダー経由）をゲームに接続することで、ボットが情報を処理し、アクションを実行できるようにします。このシステムは以下をサポートしています：

• ボットプロファイル: LLMバックエンド、行動プロンプト、例を定義するJSON設定ファイル。
• 動的コーディング: ボットが新しいアクションを実行するためにコードを記述・実行する機能（サンドボックス化されていますが、明示的な有効化が必要です）。
• タスク管理: 特定のアイテムの収集や設計図の構築など、特定の目標を持つボットを起動するシステム。
• マルチモーダル機能: 画像解釈のためのビジョンモデルや、応答をナレーションするための音声合成をサポート。

対象ユーザー

• AI駆動のコンパニオンを自分のワールドに追加したいMinecraftプレイヤー。
• 仮想環境における身体性推論（embodied reasoning）やマルチエージェント協調を研究している研究者。
• LLMとゲームエンジンを統合することに関心のある開発者。

ハイライト

• 幅広いモデルサポート: OpenAI、Gemini、Claude、DeepSeek、およびOllama経由のローカルモデルを含む、幅広いAPIと互換性があります。
• カスタマイズ可能なプロファイル: ユーザーはJSONプロファイルを通じて、ボットごとに独自の個性や能力を定義できます。
• 身体性推論 (Embodied Reasoning): 身体性推論のためのマルチエージェントLLMフレームワークに関する研究に基づいています。
• タスク駆動型自動化: リソース収集のような特定の目標指向タスクを実行するための組み込みサポートが含まれています。