Orkas-AI/Orkas-VideoStudio

Turn your coding agent into a video studio: describe a video in plain language, and your agent writes the timeline and produces the file.

解決的問題

OrkasVideoStudio 為 AI 編碼代理(如 Claude Code、Cursor 或 Codex)提供了一種使用自然語言來組合、生成與編輯影片的方法。它擺脫了「黑箱」式 AI 影片生成,採用可讀、可編輯、可比對的中間表示形式(plan.json),使代理與使用者都能精確修改影片的特定部分,而無需重新渲染整個專案。

工作原理

該系統作為一個工具包,為代理提供知識與決定性能力。它在四個「生產流水線」上運作:

  • 組合:使用 HTML/CSS(透過 HyperFrames)從腳本創建動態圖形與說明影片。
  • 編輯:使用 ffmpegwhisper.cpp 執行決定性的影片編輯任務,如剪除靜音、移除填充詞、混合音訊、燒錄字幕。
  • 生成:與外部 AI 提供商(自備金鑰)對接,用於生成對話頭像或電影級畫面。
  • 自動:一個端對端的流程,將其他三條流水線整合為一個 plan.json,並使用「交付守衛」驗證最終輸出是否符合原始要求。

代理透過 CLI(ovs)或 MCP 伺服器與工具包互動,使用提供的「技能」(知識包)來理解如何路由請求並執行生產流程。

適用對象

  • 希望自動化影片製作的 AI 編碼代理使用者。
  • 希望擁有可審計、以本地為先的影片創作工作流程,並完全掌控 API 金鑰與最終時間軸的使用者。
  • 需要自動創建說明影片、從長時間錄音中擷取精彩片段或生成本地化影片內容的團隊。

亮點

  • 可編輯的中間表示:使用 plan.json,對腳本中的一行或一個片段進行修改,僅需部分重新渲染。
  • 代理無關性:適用於任何能執行 shell 或支援 MCP 的代理。
  • 零金鑰核心功能:核心的組合與編輯功能無需付費 API 金鑰即可使用。
  • 自備生成:支援多種提供方(如 OpenAI、Gemini、MuAPI)的影像、影片與 TTS,避免供應商鎖定。
  • 決定性驗證:內建 promise-check 工具,可在交付前驗證最終影片的時長、音訊與動態效果是否符合要求。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案