하이퍼 리얼리즘 포착: 딸기에 대한 Gaussian Splatting의 예술과 과학

최근 하이퍼 리얼리즘 3D 딸기 모델이 공개되면서 개발자와 그래픽 커뮤니티 사이에서 큰 기술적 논의가 일었습니다. **Gaussian Splatting (3DGS)**라는 기술을 사용하여, 제작자 danybittel은 부피 재구성에서 디테일과 충실도의 경계를 뛰어넘는 모델을 만들었습니다.

전통적인 폴리곤 메쉬와 달리 Gaussian Splatting은 장면을 수백만 개의 3D 가우시안(본질적으로 색상과 불투명도의 "스플랫") 집합으로 표현합니다. 이를 통해 손으로 모델링하기 어려운 복잡한 조명, 투명성, 유기적 텍스처를 포착할 수 있습니다.

엄격한 캡처 과정

이 정도의 디테일을 얻으려면 단순한 핸드헬드 스캔보다 훨씬 많은 작업이 필요합니다. 딸기 모델은 흐림을 없애고 깊은 심도(Depth of Field)를 최대화하도록 설계된 정교한 사진 파이프라인의 결과물입니다:

  • Equipment: Nikon Z8 풀프레임 카메라와 Laowa 180mm 매크로 렌즈 조합.
  • Settings: f/7.1 조리개, 1/160 초 노출, ISO 100.
  • The Scale of Data: 90개의 서로 다른 시점에서 촬영. 매크로 촬영에서 초점이 맞지 않는 부분을 최소화하기 위해 저자는 focus stacking을 사용했으며, 90개의 시점 각각에 대해 88장의 서로 다른 초점 평면 이미지를 촬영했습니다.
  • Environment: LED 조명과 블루스크린을 활용해 배경 제거와 조명 일관성을 높였습니다.

기술 구현

재구성을 위해 저자는 카메라 위치 추적에 C COLMAP을, 학습 과정에 slang-splat을 사용했습니다. 최종 결과물은 22.94 MB 파일이며, 브라우저에서 SuperSplat을 통해 탐색하면 거의 사진과 같은 실감 나는 경험을 제공합니다.

커뮤니티 인사이트와 기술 논쟁

이 프로젝트는 3DGS의 현재 상태와 향후 가능성에 대해 여러 고수준 토론을 촉발했습니다.

“Dreamy” 감소

Gaussian Splatting이 Level of Detail(LoD)을 처리하는 방식은 가장 크게 찬사를 받았습니다. 전통적인 메쉬가 저폴리와 고폴리 버전 사이를 급격히 전환하거나 블록 형태로 변하는 반면, 3DGS는 부드럽게 감소합니다. 한 관찰자는 이렇게 말했습니다:

"gaussian splats에 대해 내가 가장 좋아하는 점은 그들이 감소하는 방식입니다... 점점 더 'dreamy'해지죠—기본 아이디어는 여전히 존재하지만, 디테일이 줄어듭니다."

포커스 스태킹 딜레마

포커스 스태킹 사용에 대한 기술적 논쟁이 있었습니다. 일부 커뮤니티 멤버는 이미지 전처리 단계에서 포커스 스태킹이 꼭 필요한지, 혹은 초점이 맞지 않은 영역의 흐림이 스플랫 알고리즘에 깊이 데이터로 활용될 수 있는지 의문을 제기했습니다. 그러나 다른 사람들은 포커스 스태킹이 완벽한 과정이 아니며, 3DGS 학습 단계에서 오류를 증폭시킬 수 있는 아티팩트를 유발할 수 있다고 지적했습니다.

압축 및 최적화

딸기 모델 파일 크기가 약 23 MB에 달함에 따라 압축 기술에 대한 논의가 이어졌습니다. "Self-Organizing Gaussians"가 다운로드 크기를 줄이면서도 시각적 충실도를 유지할 수 있는 잠재적 경로로 언급되었습니다.

미래 전망: 딸기에서 세계까지

이 기술의 파급 효과는 단일 과일을 넘어섭니다. 커뮤니티는 3DGS 채택을 위한 여러 가능한 방향을 강조했습니다:

  • Mapping: Google Maps나 Google Earth와 같은 도구에서 저해상도 3D 렌더링을 고충실도 스플랫으로 대체할 가능성.
  • Gaming: "세트 디자이너"가 실제 물리적 세트를 제작하고 이를 직접 게임 엔진에 스플랫으로 삽입해 전통적인 3D 모델링 파이프라인을 건너뛰는 비전.
  • Microscopy: 현미경 이미지와 Gaussian Splatting을 결합해 전례 없는 생물학적 시각화 구현.
  • Dynamic Content: 애니메이션 Gaussian splats가 등장하면서, 사용자는 콘서트와 같은 기록된 3D 이벤트를 실시간으로 자유롭게 이동하며 감상할 수 있게 됩니다.

캡처를 위한 고성능 하드웨어 요구와 너무 크게 확대했을 때 품질이 급격히 떨어지는 "절벽" 현상 등 도전 과제가 남아 있지만, 딸기 프로젝트는 고급 매크로 사진 촬영과 최첨단 부피 렌더링이 결합될 때 가능한 수준을 보여주는 기준점이 됩니다.

Sources