Hugging Face 게임 개발을 위한 AI: 3D 자산 생성

TL;DR

텍스트‑투‑3D AI는 현재 생성된 출력물이 “게임에 바로 사용할 수 있는” 형태가 아니기 때문에 게임 개발 워크플로에 즉시 활용하기에 실용적이지 않습니다. 여러 연구 모델이 3D 표현을 생성할 수 있지만, 일반적으로 사용 가능한 게임 메시로 변환하려면 광범위한 수동 후처리가 필요합니다.

텍스트‑투‑3D의 현재 상황

텍스트‑투‑이미지 도구가 게임 개발에 크게 통합된 반면, 텍스트‑투‑3D는 아직 초기 단계에 있습니다. 현재 텍스트 설명으로부터 3D 자산을 생성하기 위해 여러 가지 기술적 접근 방식이 탐구되고 있습니다:

  • View Synthesis and NeRFs: DreamFusion과 같은 도구는 2D 디퓨전을 사용해 3D 자산을 생성하고, CLIP-NeRF는 텍스트와 이미지를 사용해 Neural Radiance Fields (NeRFs)를 구동합니다. 대부분의 현재 접근 방식은 기존 3D 렌더링보다 주제의 새로운 뷰를 생성하는 뷰 합성에 의존합니다.
  • Direct Mesh and Voxel Generation: CLIPMatrix와 CLIP-Mesh-SMPLX는 텍스처가 입힌 메쉬를 직접 생성하고, CLIP-Forge는 언어를 사용해 볼륨 기반 모델을 생성합니다.
  • Point Clouds: Point-E와 Pulsar+CLIP은 언어를 활용해 3D 포인트 클라우드를 생성합니다.
  • Automated Texturing: Dream Textures는 텍스트‑투‑이미지 기능을 활용해 Blender 내 장면에 자동으로 텍스처를 입힙니다.

텍스트‑투‑3D가 아직 게임에 바로 사용할 수 없는 이유

게임 개발에서 텍스트‑투‑3D를 채택하는 주요 장벽은 뷰 합성(NeRFs)과 현대 게임 엔진이 사용하는 폴리곤 메쉬 사이의 근본적인 차이점입니다.

NeRF‑to‑Mesh 파이프라인

NeRF를 메쉬로 변환하는 작업(NVlabs instant-ngp 등)이 진행 중이지만, 이 과정은 포토그래메트리와 유사합니다. 객체의 여러 뷰를 결합해 3D 자산을 만들지만, 생성된 메쉬는 게임 엔진에서 바로 사용할 수 없습니다.

수동 후처리 요구사항

텍스트‑to‑NeRF‑to‑mesh 파이프라인을 통해 생성된 자산은 “게임에 바로 사용할 수 있는” 상태가 되기 위해 상당한 전문 지식과 수동 작업이 필요합니다. 이러한 자산은 종종 저폴리 자산을 처음부터 만드는 것보다 정제에 더 많은 시간이 소요되므로, 현재 5일 안에 게임을 만드는 등 빠른 개발 사이클에 적합하지 않습니다.

3D AI 생성의 향후 방향

현재 연구와 실용적인 게임 개발 사이의 격차를 메우기 위해 두 가지 주요 경로가 제시됩니다:

  1. Enhanced Mesh Generation: NeRF‑to‑mesh 변환 및 직접 메쉬 생성의 개선을 통해 수동 후처리 필요성을 줄이고 엔진에 통합하기 쉬운 자산을 생산합니다.
  2. Direct In-Engine Rendering: NeRF를 게임 엔진 내에서 직접 렌더링할 수 있는 새로운 렌더링 기술을 개발하여 메쉬 변환 과정을 완전히 생략할 가능성을 탐색합니다.

Sources