mindcraft-bots/mindcraft

해결하는 문제

Mindcraft를 사용하면 거대 언어 모델(LLM)을 활용하여 게임 세계와 상호작용하고, 작업을 수행하며, 의사소통할 수 있는 지능형 Minecraft 에이전트를 만들 수 있습니다. 이 프레임워크는 고수준의 LLM 추론 능력과 Minecraft 환경을 탐색하고 조작하는 데 필요한 저수준의 게임 동작 사이의 간극을 메워줍니다.

작동 방식

이 프로젝트는 Mineflayer API를 사용하여 Minecraft Java Edition과 인터페이스를 연결합니다. LLM(OpenAI, Google, Anthropic 등 다양한 API 제공업체)을 게임에 연결하여 봇이 정보를 처리하고 동작을 실행할 수 있게 합니다. 이 시스템은 다음을 지원합니다:

• 봇 프로필: LLM 백엔드, 행동 프롬프트, 예시를 정의하는 JSON 설정 파일.
• 동적 코딩: 봇이 새로운 동작을 수행하기 위해 코드를 작성하고 실행하는 기능(샌드박스 환경이지만 명시적인 활성화가 필요함).
• 작업 관리: 특정 아이템 수집이나 설계도 구축과 같은 특정 목표를 가진 봇을 시작하는 시스템.
• 멀티모달 기능: 이미지 해석을 위한 비전 모델 및 응답을 설명하기 위한 음성 합성 지원.

대상 사용자

• AI 기반 동료를 자신의 월드에 추가하고 싶은 Minecraft 플레이어.
• 가상 환경에서의 체화된 추론(embodied reasoning) 및 멀티 에이전트 협업을 연구하는 연구자.
• LLM과 게임 엔진을 통합하는 데 관심이 있는 개발자.

주요 특징

• 광범위한 모델 지원: OpenAI, Gemini, Claude, DeepSeek 및 Ollama를 통한 로컬 모델을 포함한 다양한 API와 호환됩니다.
• 사용자 정의 프로필: 사용자는 JSON 프로필을 통해 봇마다 고유한 성격과 능력을 정의할 수 있습니다.
• 체화된 추론 (Embodied Reasoning): 체화된 추론을 위한 멀티 에이전트 LLM 프레임워크 연구를 기반으로 합니다.
• 작업 중심 자동화: 자원 수집과 같은 특정 목표 지향적 작업을 실행하기 위한 내장 지원이 포함되어 있습니다.