visualbruno/3DGenStudio

Orchestrate complete 3D generation pipelines — from text-to-image, image editing, mesh generation, UV unwrapping, to texturing — all in a single visual workspace powered by ComfyUI and external APIs.

🎨 3D Gen Studio 는 무엇인가요?

3D Gen Studio 는 텍스트 프롬프트에서 시작하여 게임용 메시까지 완전한 3D 자산을 하나의 시각적 작업 공간에서 생성할 수 있는 오픈소스 데스크톱/웹 애플리케이션입니다. 이 앱은 ComfyUI (노드 기반 AI 이미지 생성 엔진)와 몇 가지 외부 3D 생성 API를 결합하고, UV 언랩, 리토폴로지, 리깅, 텍스처 베이킹, LOD 생성 등의 메시 편집 도구 세트를 추가합니다.

핵심 아이디어는 파이프라인 UI로, 이를 칸반 보드(카드가 단계를 거쳐 흐름) 또는 노드 그래프(자산이 화살표로 연결된 노드)로 표시할 수 있다는 점입니다. 각 카드나 노드는 ComfyUI 워크플로우 또는 외부 REST/GraphQL API를 트리거할 수 있으며, 결과는 자동으로 다음 단계로 전달됩니다.

🛠️ 주요 기능 (README에 설명됨)

기능	기능 설명
칸반 보드	드래그 앤 드롭으로 단계(이미지 → 이미지 편집 → 메시 생성 → 메시 편집 → 텍스처링)를 이동. 각 카드는 사용자 정의 메타데이터를 저장하고 ComfyUI 워크플로우 또는 API 호출을 시작할 수 있음.
노드 그래프 뷰	자산의 시각적 그래프. 노드를 클릭하면 파라미터를 편집하거나 관련 ComfyUI 워크플로우를 실행하거나 메시 미리보기를 확인할 수 있음.
자산 라이브러리	이미지, 메시(GLB/OBJ/FBX), ComfyUI 워크플로우 파일의 중앙 집중식 뷰. 버전 관리, 포맷 배지, 프로젝트에 한 번의 클릭으로 가져오기 지원.
ComfyUI 통합	로컬에서 어떤 ComfyUI 워크플로우도 실행 가능. 파라미터는 인라인으로 편집 가능하며, 출력은 새로운 자산으로 캡처됨.
외부 API 지원	REST/GraphQL 3D 서비스(예: TripoSR, Wonder3D, Kimodo)를 카드나 노드에서 호출할 수 있음.
로컬 우선 저장	프로젝트는 디스크(SQLite/LowDB)에 저장되어 Git 동기화 가능하고 클라우드 종속 없이 이식 가능함.
메시 에디터	앱 내 도구로 다음 작업 가능:

텍스처링 (텍스처를 메시에 투영)
기본 모델링 (면/정점 편집)
스컬프팅 (표준 브러시)
메시 위에 직접 페인팅
브러시 기반 테셀레이션을 통한 디스플레이스먼트
ComfyUI를 사용한 텍스처 투영
자동 UV 언랩, 자동 리토폴로지, 자동 리깅 (SkinTokens 및 Kimodo를 통한 AI 기반 스켈레톤/웨이트)
최적화/LOD 생성, 충돌 하울 생성
노멀/AO/포지션 맵 베이킹
게임 준비 체크 (삼각형 예산, UV 시음, 스케일, 피봇) | | 배치 프로젝트 | 자동으로 실행되는 일련의 단계를 정의 가능. 이미지, 메시, 불리언 유형을 지원하며, 자산 목록 내보내기 가능. | | 다중 사용자 / LAN | 서버를 다른 기기에서 호스팅 가능. 데스크톱 앱은 LAN 또는 리버스 프록시 뒤에서 연결 가능. | | 크로스플랫폼 데스크톱 앱 | Electron/Node로 구축되어 Windows, macOS(Apple Silicon 전용), Linux에서 실행 가능. | | 풍부한 변경 기록 | 주 2회 이상 빈번한 업데이트로 새로운 생성기, VFX 도구, 트리/어셈블리 생성기, 애니메이션 통합(MoCapAnythingV2, Kimodo), UI 개선 추가됨. |

🚀 일반적인 워크플로우

이미지 생성/임포트 – ComfyUI 텍스트-이미지 모델 사용 또는 외부 API 호출.
이미지 편집 – 인페인팅, 노멀맵 생성, 배경 제거.
메시 생성 – 카드에서 3D 생성 서비스(TripoSR 등) 호출.
UV 및 텍스처 – 자동 UV, 투영, 텍스처 페인팅 단계 실행.
최종 완성 – 맵 베이킹, LOD 생성, 메시 리깅, GLB/OBJ/FBX로 내보내기.

모든 단계는 칸반 보드의 카드 이동 또는 그래프 뷰의 연결된 노드로 시각화 가능.

📦 설치 (요약)

사전 요구 사항: Node.js + npm, 실행 중인 ComfyUI 인스턴스, 백엔드 서버용 Python 3.
리포지토리 복제 → npm install → npm run dev로 프론트엔드 실행.
python-server 폴더 내: 가상 환경 생성, pip install -r requirements.txt, 이후 python main.py 실행.
백엔드는 http://localhost:3001에서 작동. Vite 개발 서버가 UI 제공.
macOS Apple-Silicon 빌드는 수동 Gatekeeper 우회 필요 (README 참조).

🧩 기술 스택

프론트엔드: React, Vite, Three.js (@react-three/fiber, @react-three/drei).
백엔드: Node/Express + Multer (파일 업로드용).
저장소: SQLite + LowDB (자산 메타데이터용).
AI 통합: ComfyUI (로컬) + 임의의 외부 AI/3D API.

🤝 커뮤니티 및 기여

PR 환영 (README에 배지 있음).
지원 및 기능 논의용 Discord 채널.
앱에 포함된 위키로 상세 문서 제공.

📚 결론

3D Gen Studio 는 AI 기반 이미지 생성, 3D 메시 생성, 그리고 포괄적인 메시 편집 도구를 통합한 진정한 오픈소스 프로젝트로, 활발히 유지보수 중입니다. 아티스트, 게임 개발자, 연구자들이 클라우드 서비스에 종속되지 않고 하나의 장소에서 AI 생성 3D 자산을 프로토타이핑할 수 있도록 설계되었습니다.