Orkas-AI/Orkas-VideoStudio
Turn your coding agent into a video studio: describe a video in plain language, and your agent writes the timeline and produces the file.
解决的问题
OrkasVideoStudio 为 AI 编码代理(如 Claude Code、Cursor 或 Codex)提供了一种使用自然语言来组合、生成和编辑视频的方法。它摆脱了“黑箱”式 AI 视频生成,采用可读、可编辑、可对比的中间表示形式(plan.json),使代理和用户都能精确修改视频的特定部分,而无需重新渲染整个项目。
工作原理
该系统作为一个工具包,为代理提供知识和确定性能力。它在四个“生产流水线”上运行:
- 组合:使用 HTML/CSS(通过 HyperFrames)从脚本创建动态图形和解说视频。
- 编辑:使用
ffmpeg和whisper.cpp执行确定性的视频编辑任务,如剪除静音、移除填充词、混合音频、烧录字幕。 - 生成:与外部 AI 提供商(自带密钥)对接,用于生成对话头像或电影级画面。
- 自动:一个端到端的流水线,将其他三条流水线整合为一个
plan.json,并使用“交付守卫”验证最终输出是否符合原始要求。
代理通过 CLI(ovs)或 MCP 服务器与工具包交互,使用提供的“技能”(知识包)来理解如何路由请求并执行生产流水线。
适用人群
- 希望自动化视频制作的 AI 编码代理使用者。
- 希望拥有可审计、以本地优先的视频创作工作流,并完全掌控 API 密钥和最终时间线的用户。
- 需要自动创建解说视频、从长录音中提取精彩片段或生成本地化视频内容的团队。
亮点
- 可编辑的中间表示:使用
plan.json,对脚本中的一行或一个片段进行修改,仅需部分重新渲染。 - 代理无关性:适用于任何能运行 shell 或支持 MCP 的代理。
- 零密钥核心功能:核心的组合与编辑功能无需付费 API 密钥即可使用。
- 自带生成:支持多种提供方(如 OpenAI、Gemini、MuAPI)的图像、视频和 TTS,避免供应商锁定。
- 确定性验证:包含
promise-check工具,可在交付前验证最终视频的时长、音频和动态效果是否符合要求。
相关
- 项目
- 项目
- 项目
- 项目
- 项目