Capturing Hyper-Realism: The Art and Science of Gaussian Splatting a Strawberry

藝術家 Dany Bittel 最近的一個項目引起了 Hacker News 技術社群的關注，展示了一個令人驚嘆且細節豐富的草莓 3D 重建模型。這不是由多邊形和紋理組成的傳統 3D 模型；相反，它是一個「Gaussian Splat」，一種體積渲染方法，能夠在捕捉微小且複雜的有機表面時，達到前所未有的寫實程度。

The Technical Blueprint

要達到這種細節程度，需要嚴謹的捕捉過程。Bittel 的設置旨在消除通常困擾 3D 重建的變量。用於草莓 splat 的硬體和軟體流程包括：

  • Camera & Lens: Nikon Z8 全片幅相機搭配 Laowa 180mm macro lens，可實現極致的特寫細節。
  • Lighting & Environment: 使用 LED lighting 和藍幕來將主體從背景中分離出來。
  • Capture Volume: 主體從 90 個不同的視角進行拍攝。
  • Focus Stacking: 這可能是過程中最密集的部分——那 90 個視角中的每一個都由 88 張 focus-stacked images 組成。這確保了整個物體在其深度範圍內都能保持清晰的焦點，克服了微距攝影中固有的淺景深問題。
  • Processing Pipeline: 場景使用 COLMAP 進行相機位置追蹤，並使用 slang-splat 進行訓練。

Understanding Gaussian Splatting

對於剛接觸這項技術的人來說，Gaussian Splatting (3DGS) 是一種將 3D 場景表示為數百萬個重疊、半透明 3D Gaussians (基本上就是 "splats") 的方法。與定義表面的傳統網格 (meshes) 不同，splats 代表的是空間中的顏色和不透明度密度。

這種方法允許捕捉複雜的光影交互作用和難以手動建模的精細細節。然而，正如社群成員所指出的，這項技術也有其獨特的特性。用戶 @Tade0 觀察到，Gaussian splats 的退化方式非常優雅：

"What I love about gaussian splats is the way they degrade - instead of a hard cutoff or LoD changing spheres into cubes etc., they get increasingly 'dreamy' - the basic idea is still there, just less detailed."

Technical Debates and Future Directions

草莓項目引發了關於 3DGS 效率和局限性的幾項高層次技術討論。

The Role of Focus Stacking

社群中的一個爭議點是 focus stacking 的必要性。用戶 @zokier 質疑 focus stacking 是否為必要的預處理步驟，或者圖像中失焦區域的固有模糊是否實際上可以提供 3DGS 算法可以利用的深度數據。人們擔心 focus stacking——這並非一個完美的過程——可能會引入偽影 (artifacts)，進而使這些偽影在 splatting 過程中進一步擴大。

Compression and Optimization

隨著草莓 splat 的保真度增加，文件大小也隨之增加。這引發了關於尖端壓縮技術的討論。文中提到了 "Self-Organizing Gaussians" 作為在不犧牲視覺品質的前提下，減少高細節場景下載大小的潛在路徑。

Real-World Applications

社群預見了這項技術的幾種變革性應用：

  • Mapping: 在 Google Maps 或 Google Earth 等工具中，用高保真度的 splats 取代低解析度的 3D 渲染圖。
  • Gaming: 一個未來，遊戲世界由現實世界的場景設計師透過「掃描」物理場景來創建數位環境。
  • Microscopy: 將 3DGS 與顯微鏡技術結合，以 3D 方式視覺化生物結構。
  • Virtual Events: 使用動畫化的 Gaussian splats 讓用戶在即時、3D 環境中自由地在演唱會舞台或人群中移動。

Current Limitations

儘管視覺效果極其出色，但這項技術並非沒有障礙。用戶指出，雖然 splats 從遠處看非常驚人，但當縮放得太深時，會「掉入懸崖」 (fall off a cliff)。此外，關於動態光照——在捕捉場景後改變場景光照的能力——這仍然是目前 3DGS 技術的重大挑戰。此外，進入門檻仍然很高；許多用戶報告說，相機追蹤和重建的軟體對於一般創作者來說仍然不夠直觀。

Sources