Orkas-AI/Orkas-VideoStudio

Turn your coding agent into a video studio: describe a video in plain language, and your agent writes the timeline and produces the file.

它解决的问题

传统视频制作要么需要手动编写每一帧的代码(如 Remotion),要么使用黑盒 SaaS 编辑器,将你锁定在专有时间线中。OrkasVideoStudio 为编码代理(Claude Code、Codex、Cursor 等)提供知识、确定性工具和可编辑的中间表示(plan.json),以组合动态图形、编辑素材、生成 AI 媒体,并运行自动化的端到端流水线。视频不是黑盒代理,而是表达为可读、可比较、可重新渲染的计划;更改一行,只有该部分会重新渲染。

工作原理

该项目将 HyperFrames、ffmpeg 和 whisper.cpp 封装为轻量级确定性能力:渲染、编辑、转录和生成。它增加了一个知识层(技能),教导代理什么构成好视频以及使用哪条生产线。有四条生产线:Compose(脚本到 HTML 动态图形到 mp4,无需付费密钥)、Edit(剪切/拼接/修剪静音/字幕/配音,无需付费密钥)、Generate(通过你自己的提供商密钥生成说话头或电影素材)和 Auto(使用单个 plan.json 跨其他线路路由的端到端流水线)。计划是契约:它包含片段、字幕、旁白,每个部分都可独立重新渲染。交付守卫(ovs plan promise-check)在交付前验证最终剪辑是否履行其承诺(例如,真实运动,而非无声幻灯片)。

适用人群

希望通过对编码助手的自然语言指令以编程方式生成视频的开发者和 AI 代理用户。特别适合动态图形解说、SaaS 或应用演示、产品广告,以及将长录音重新利用为精彩片段。适用于任何能运行 shell 或支持 MCP 的代理。

亮点

  • 可编辑、可比较的 plan.json 作为唯一事实来源——每个片段独立重新渲染。
  • 三个能力轴加自动流水线:组合、编辑、生成和自动(端到端)。
  • 组合/编辑/转录的零密钥主干;生成使用你自己的提供商密钥(OpenAI、Gemini、Doubao、MuAPI 等)——无需托管后端。
  • 交付守卫在视频交付前运行确定性检查(运动、音频、字幕)。
  • 成本意识:生成被视为要防御的预算;计划目标约为 90% 的零计费生成结果。
  • MIT 许可,本地优先,可自托管。

相关

  • 项目
  • 项目
  • 项目
  • 项目