img2threejs: 에이전트 주도 조각을 통해 이미지에서 객체를 재구성하는 절차적 Three.js 모델 생성기

img2threejs: 에이전트 주도 조각을 통해 이미지에서 객체를 재구성하는 절차적 Three.js 모델 생성기

무엇을 해결하는가

img2threejs는 객체 또는 캐릭터의 단일 참조 이미지를 절차적 Three.js 모델로 변환합니다. 포토그라메트리 또는 메쉬 추출과 달리, 코드만 사용하는 기하학, 원시 도형, 절차적 셰이더를 사용하여 객체를 재구성함으로써 결과가 AI 에이전트에 대해 애니메이션 준비됨 및 토큰 효율적이도록 보장합니다.

작동 방식

이 프로젝트는 결정적 Python 스크립트와 AI 에이전트 (예: Claude Code)를 통합하는 단계별 조각 파이프라인을 사용합니다. 프로세스는 빌드 패스의 엄격한 순서를 따릅니다:

  1. 분석: 시스템은 대상(객체, 캐릭터, 또는 하이브리드)을 분류하고 정체성을 정의하는 특징(베벨, 나사, 광택 등)의 detailInventory를 생성합니다.
  2. 사양: 구성 트리와 재료를 정의하는 ObjectSculptSpec JSON을 작성합니다.
  3. 반복적 조각: 모델은 다음 패스로 구축됩니다: 블록아웃 $\rightarrow$ 구조적 $\rightarrow$ 형태 세부 조정 $\rightarrow$ 재질 $\rightarrow$ 표면 $\rightarrow$ 조명 $\rightarrow$ 상호작용 $\rightarrow$ 최적화.
  4. 검토 루프: 각 패스 후에 Python 스크립트가 참조 대 렌더 비교 시트(참조 vs. 렌더)를 생성합니다. AI 에이전트는 렌더를 검토하고 비전 점수에 따라 continue, refine-spec, 또는 refine-code 중 하나를 결정합니다.
  5. 출력: 최종 결과는 애니메이션을 위한 런타임 계층(피벗, 소켓, 콜라이더)을 갖는 THREE.Group를 반환하는 TypeScript 팩토리 함수입니다.

대상 사용자

이미지에서 무거운 메쉬 파일이나 수동 모델링에 의존하지 않고 3D 에셋을 생성하려는 개발자와 기술 아티스트, 특히 3D 생성 워크플로를 자동화하기 위해 AI 에이전트를 사용하는 사람들을 대상으로 합니다.

주요 특징

  • 코드만 재구성: 바이너리 메쉬 파일 대신 TypeScript 코드를 생성하여 에셋을 diff 가능하고 버전 관리 가능하게 만듭니다.
  • 에이전트에 구애되지 않음: 비전과 브라우저 도구를 가진 어떤 에이전트와도 작동합니다 (예: Claude Code, Codex).
  • 토큰 효율적: 모델 토큰을 절약하기 위해 기계적 작업(검증, PBR 추출, 비교 패키징)을 Python 스크립트로 오프로드합니다.
  • 애니메이션 준비됨: 정적 메쉬를 생성하는 대신 피벗과 소켓을 포함한 런타임 계층을 포함합니다.
  • 엄격한 품질 게이트: 사양이 객체의 복잡성과 일치할 만큼 충분히 상세해질 때까지 코드 생성을 방지합니다.

Sources