Orkas-AI/Orkas-VideoStudio
Turn your coding agent into a video studio: describe a video in plain language, and your agent writes the timeline and produces the file.
解決的問題
OrkasVideoStudio 為 AI 編碼代理(如 Claude Code、Cursor 或 Codex)提供了一種使用自然語言來組合、生成與編輯影片的方法。它擺脫了「黑箱」式 AI 影片生成,採用可讀、可編輯、可比對的中間表示形式(plan.json),使代理與使用者都能精確修改影片的特定部分,而無需重新渲染整個專案。
工作原理
該系統作為一個工具包,為代理提供知識與決定性能力。它在四個「生產流水線」上運作:
- 組合:使用 HTML/CSS(透過 HyperFrames)從腳本創建動態圖形與說明影片。
- 編輯:使用
ffmpeg與whisper.cpp執行決定性的影片編輯任務,如剪除靜音、移除填充詞、混合音訊、燒錄字幕。 - 生成:與外部 AI 提供商(自備金鑰)對接,用於生成對話頭像或電影級畫面。
- 自動:一個端對端的流程,將其他三條流水線整合為一個
plan.json,並使用「交付守衛」驗證最終輸出是否符合原始要求。
代理透過 CLI(ovs)或 MCP 伺服器與工具包互動,使用提供的「技能」(知識包)來理解如何路由請求並執行生產流程。
適用對象
- 希望自動化影片製作的 AI 編碼代理使用者。
- 希望擁有可審計、以本地為先的影片創作工作流程,並完全掌控 API 金鑰與最終時間軸的使用者。
- 需要自動創建說明影片、從長時間錄音中擷取精彩片段或生成本地化影片內容的團隊。
亮點
- 可編輯的中間表示:使用
plan.json,對腳本中的一行或一個片段進行修改,僅需部分重新渲染。 - 代理無關性:適用於任何能執行 shell 或支援 MCP 的代理。
- 零金鑰核心功能:核心的組合與編輯功能無需付費 API 金鑰即可使用。
- 自備生成:支援多種提供方(如 OpenAI、Gemini、MuAPI)的影像、影片與 TTS,避免供應商鎖定。
- 決定性驗證:內建
promise-check工具,可在交付前驗證最終影片的時長、音訊與動態效果是否符合要求。
相關
- 專案
- 專案
- 專案
- 專案
- 專案