NomaDamas/CozyClay

Open source previs software in the browser: block a scene, pose characters, author camera moves and cuts, then take the same shots to an AI video model.

解決的問題

CozyClay 是一個瀏覽器基礎的預視覺化(previs)工作室,讓創作者能在時間軸上進行場景佈局、角色擺姿,並規劃攝影機移動。它透過提供一個結構化的工作空間,彌補了3D佈局與AI影片生成之間的差距,創造出AI影片模型(如 Seedance、Kling 和 Veo)所需的視覺基礎(首幀、參考片段與提示)。

如何運作

此工作室基於 Three.js 與 React Three Fiber 建構,提供一個3D環境,使用者可使用基本幾何體與場景道具來佈置場景。它包含一個時間軸,可用於剪輯鏡頭並繪製攝影機移動的軌道。

在動畫方面,它整合了 Kimodo 橋接,支援透過提示生成角色動作,或使用 GVHMR 從影片/照片中捕捉動作。專案也包含一個 MCP(模型上下文協定)伺服器,讓 Claude 等 AI 助手能透過自然語言直接操作場景、放置角色並構圖鏡頭。

適用對象

需要在匯出資產至 AI 影片生成模型之前,對構圖、佈局與動畫擁有精確控制的電影導演、動畫師與 AI 影片藝術家。

主要特色

  • AI 驅動控制:支援 MCP,讓 AI 助手可直接操作場景,並整合 ChatGPT 的 Agent 面板。
  • AI 影片匯出:產生針對特定 AI 影片模型優化的關鍵幀套件、深度/法線通道與結構化提示。
  • 動作生成:整合 Kimodo,支援提示驅動的動作生成,以及使用 GVHMR 從影片中捕捉動作。
  • 瀏覽器工作流程:透過 npx 快速安裝,可在瀏覽器標籤中完全運作,並內建攝影機教學。
  • 工作流程畫布:基於節點的編輯器,可用於建構提示並透過 ComfyUI 或 fal 執行影片生成。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案