NomaDamas/CozyClay

Open source previs software in the browser: block a scene, pose characters, author camera moves and cuts, then take the same shots to an AI video model.

解决的问题

CozyClay 是一个基于浏览器的预可视化(previs)工作室,允许创作者在时间线上进行场景布局、角色摆姿和规划相机运动。它通过提供一个结构化的工作空间,弥合了3D布局与AI视频生成之间的差距,创建AI视频模型(如 Seedance、Kling 和 Veo)所需的视觉基础(首帧、参考片段和提示)。

如何工作

该工作室基于 Three.js 和 React Three Fiber 构建,提供一个3D环境,用户可以在其中使用基本几何体和场景道具来搭建场景。它包含一个时间线,用于剪辑镜头并绘制相机移动的轨道。

在运动方面,它与 Kimodo 桥接集成,支持通过提示生成角色动作,或使用 GVHMR 从视频/照片中捕捉动作。该项目还包含一个 MCP(模型上下文协议)服务器,允许 Claude 等 AI 助手通过自然语言直接操作场景、放置角色并构图镜头。

适用人群

需要在导出资产到 AI 视频生成模型之前,对构图、布局和运动拥有精确控制的电影制作人、动画师和 AI 视频艺术家。

主要亮点

  • AI 驱动控制:支持 MCP,允许 AI 助手直接操作场景,并集成 ChatGPT 的 Agent 面板。
  • AI 视频导出:生成针对特定 AI 视频模型优化的帧序列包、深度/法线通道和结构化提示。
  • 动作生成:与 Kimodo 集成,支持基于提示的动作生成,以及使用 GVHMR 从视频中捕捉动作。
  • 浏览器工作流:通过 npx 快速安装,可在浏览器标签页中完全运行,包含内置的相机教程。
  • 工作流画布:基于节点的编辑器,用于构建提示并使用 ComfyUI 或 fal 运行视频生成。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目