超写実性の捕捉：イチゴのGaussian Splattingにおける芸術と科学

アーティストのDany Bittelによる最近のプロジェクトが、Hacker Newsの技術コミュニティの注目を集めています。それは、イチゴの驚くほど詳細な3D再構成です。これは、ポリゴンとテクスチャで構成される従来の3Dモデルではありません。代わりに、それは「Gaussian Splat」です。これは、小さく複雑な有機的な表面を捉える際に、かつてないレベルのフォトリアリズムを可能にするボリュームレンダリングの手法です。

技術的な設計図

このレベルの詳細度を実現するには、厳格なキャプチャプロセスが必要です。Bittelのセットアップは、3D再構成を悩ませる典型的な変数を排除するように設計されました。イチゴのsplatに使用されたハードウェアとソフトウェアのパイプラインは以下の通りです：

Camera & Lens: Nikon Z8フルフレームカメラとLaowa 180mm macro lensの組み合わせにより、極端な接写の詳細を可能にします。
Lighting & Environment: 被写体を背景から分離するために、LED照明とブルースクリーンを使用しています。
Capture Volume: 被写体は90の異なる視点から撮影されました。
Focus Stacking: おそらくプロセスの中で最も集中的な部分です。これら90の視点のそれぞれが、88枚のフォーカススタッキングされた画像で構成されていました。これにより、被写体全体がその奥行きにわたって鮮明な焦点に保たれ、マクロ撮影に特有の浅い被写界深度を克服します。
Processing Pipeline: シーンは、カメラ位置のトラッキングにCOLMAPを使用し、slang-splatを使用してトレーニングされました。

Gaussian Splattingの理解

この技術に馴染みのない方のために、Gaussian Splatting (3DGS) は、数百万の重なり合う半透明の3D Gaussians（実質的に「splats」）の集合として3Dシーンを表現する手法です。表面を定義する従来のメッシュとは異なり、splatsは空間内の色の密度と不透明度を表します。

このアプローチにより、手動でモデリングすることが困難な複雑な光の相互作用や微細な詳細を捉えることができます。しかし、コミュニティのメンバーが指摘したように、この技術には独自の特性があります。ユーザーの @Tade0 は、Gaussian splatsは緩やかに劣化すると観察しました：

"Gaussian splatsの素晴らしい点は、その劣化の仕方です。強制的な遮断や、LoDによって球が立方体に変わるようなものではなく、次第に「夢のような」状態になります。基本的な概念は維持されますが、単に詳細が少なくなるだけです。"

技術的な議論と将来の方向性

イチゴのプロジェクトは、3DGSの効率性と限界に関するいくつかの高度な技術的議論を巻き起こしました。

Focus Stackingの役割

コミュニティの間で論争となった点の一つは、focus stackingの必要性です。ユーザー @zokier は、focus stackingが必須のプリプロセッシングステップなのか、それとも画像内の焦点が合っていない領域の固有のボケが、3DGSアルゴリズムが利用可能な深度データを提供できるのではないかと疑問を呈しました。focus stackingは完璧なプロセスではないため、splattingプロセス中にアーティファクトが混入し、それがさらに蓄積される可能性があるという懸念があります。

圧縮と最適化

イチゴのsplatの忠実度が上がるにつれて、ファイルサイズも大きくなります。これは、圧縮技術の最先端に関する議論につながりました。「Self-Organizing Gaussians」が、視覚的な品質を損なうことなく、高詳細度シーンのダウンロードサイズを削減するための潜在的な道筋として言及されました。

実世界のアプリケーション

コミュニティは、この技術の変革的なアプリケーションをいくつか想定しています：

Mapping: Google MapsやGoogle Earthのようなツールにおける低解像度3Dレンダリングを、高忠実度のsplatsに置き換える。
Gaming: ゲームの世界が、物理的なセットをデジタル環境に「スキャン」する現実世界のセットデザイナーによって作成される未来。
Microscopy: 3DGSを顕微鏡技術と組み合わせ、生物学的構造を3Dで可視化する。
Virtual Events: アニメーション化されたGaussian splatsを使用して、ユーザーがコンサートのステージや群衆をリアルタイムの3D環境で自由に動き回れるようにする。

現在の限界

視覚的な素晴らしさにもかかわらず、この技術には課題があります。ユーザーは、splatsが遠くからは信じられないほど見えてえますが、ズームインしすぎると「崖から落ちる」ように品質が低下すると指摘しました。また、ダイナミックライティング（キャプチャ後にシーンの照明を変化させる能力）についても疑問が投げかけられており、これは現在の3DGSの技術水準において大きな課題としてしまっています。さらに、参入障壁は依然として高いです。多くのユーザーが、カメラトラッキングと再構成のためのソフトウェアが、一般的なクリエイターにとって依然として直感的ではないと報告しています。