blendi-remade/falcraft

해결하는 문제

falcraft는 Minecraft 플레이어가 AI를 사용하여 게임 내에서 복잡한 3D 구조물과 오브젝트를 직접 생성할 수 있게 해주며, 블록 단위로 수작업으로 정교한 모델을 만들거나 외부 3D 모델링 소프트웨어를 사용할 필요를 없애줍니다.

작동 방식

이 모드는 fal.ai 클라우드 API에 연결하여 텍스트 프롬프트를 게임 내 구조물로 변환하는 다단계 파이프라인을 사용합니다:

1. 이미지 생성: Z-Image Turbo 또는 Nano Banana Pro와 같은 모델을 사용해 텍스트 프롬프트에서 2D 이미지를 생성합니다.
2. 3D 변환: SAM-3D 또는 Hunyuan 3D와 같은 파이프라인을 사용해 이미지를 3D GLB 모델로 변환합니다.
3. 보크셀화: 삼각형-보크셀 교차를 통해 3D 메시를 Minecraft 블록으로 변환합니다.
4. 색상 매핑: CIE-LAB 인지적 색 공간을 사용해 모델의 색상을 100개 이상의 Minecraft 블록 팔레트에 매핑합니다.
5. 배치: 구조물이 계층별로 애니메이션으로 생성되기 전에 플레이어가 구조물을 회전하고 이동할 수 있는 '고스트 미리보기' 기능을 제공합니다.

또한, 'FalTV' 기능은 로컬 사이드카 브리지를 통해 MiniMax H3 Max Director API를 사용해 게임 내 벽에 실시간으로 생성된 AI 영상을 스트리밍합니다.

대상 사용자

Fabric Loader를 사용하고 버전 1.21.1을 사용하는 Minecraft 플레이어 중, 세계에 세부적인 AI 생성 아키텍처, 생물, 또는 오브젝트를 빠르게 추가하고 싶은 사용자입니다.

주요 기능

• 다양한 생성 모드: 표준 생성 모드, 고품질 UV 텍스처가 적용된 'Craft' 모드, 실시간 기하학적 미리보기용 'Stream' 모드를 포함합니다.
• FalTV: 채팅 명령어로 조작 가능한 실시간 생성 AI 텔레비전 채널입니다.
• 인터랙티브 배치: 최종 배치 전에 생성된 구조물의 회전(요, 피치, 롤)과 이동을 완전히 제어할 수 있습니다.
• 자동 보크셀화: 고정밀 3D AI 모델을 블록 기반 Minecraft 지오메트리로 시ーム리스하게 변환합니다.