luciddreamer-cvlab/LucidDreamer

解決的問題

LucidDreamer 能夠透過單張影像與文字提示，使用高斯點陣（Gaussian Splatting）生成 3D 場景。它解決了在無需特定領域訓練資料的情況下，跨多個領域建立高品質 3D 環境的挑戰。

工作原理

該系統利用文字提示與輸入影像引導的修復（inpainting）過程來「構想」場景。它借助 Stable Diffusion (SD 1.5) 和 ZoeDepth 等模型進行深度估計，並使用高斯點陣光柵化器將生成的視角轉換為 3D 場景。使用者可為生成與渲染階段指定相機路徑，以控制最終 3D 輸出的視角。

適用對象

本工具專為電腦視覺與 3D 圖形領域的研究人員與開發者設計，適用於希望從 2D 輸入生成沉浸式 3D 場景的使用者，以及使用 AI 驅動的 3D 內容創作工具的藝術家。

核心亮點

• 領域無關生成：無需特定訓練即可在不同環境中生成 3D 場景。
• 靈活輸入：支援單張影像與文字提示的組合輸入。
• 可自訂相機路徑：支援多種相機運動（如 rotate360、lookaround）用於生成與渲染。
• 與 SD 集成：支援自訂 Stable Diffusion 檢查點，以獲得更精細的修復結果。