open-ribbi/velocut

解決的問題

Velocut 是一款本地優先、基於瀏覽器的影片編輯器，旨在將 AI 代理作為一等公民用戶進行整合。它無需將素材上傳到伺服器，在確保隱私與效能的同時，允許使用者使用自然語言指令而非手動操作時間軸來編輯影片。

工作原理

該系統採用「協定優先」架構，人類使用者（透過 UI）與 AI 代理（透過 LLM）都會向中央文件模型發出相同的 JSON 指令協定。

• 引擎：具有一個標準的 Rust 引擎（編譯為 WASM）與一個用於靈活性的 TypeScript 參考引擎。
• 渲染：利用 WebGPU 進行合成，利用 WebCodecs 進行影片解碼與匯出。
• AI 整合：LLM 代理（支援 Anthropic 相容的提供商）可以透過影格抓取與鏡頭邊界檢測來「看到」影片，透過響度與靜音分析來「聽到」影片，並透過直接向引擎發送 JSON 指令來執行編輯。
• 儲存：媒體儲存在 Origin Private File System (OPFS) 中，專案數據儲存在 IndexedDB 中，透過 CRDTs 實現多分頁同步，從而實現本地優先的體驗。

適用對象

想要實現 AI 輔助工作流的影片編輯者與內容創作者，該工作流能保持數據本地化，並提供一種透明、可修正的方式來自動化繁瑣的編輯任務。

亮點

• AI 原生編輯：自然語言指令（例如「剪掉靜音部分」）會被轉換為精確的引擎指令。
• 本地優先隱私：無需安裝或上傳；素材保留在使用者的機器上。
• 分支歷史：支援非線性編輯歷史，人類與 AI 的操作經過顏色編碼，並且可以進行分支 (fork)。
• 先進的瀏覽器技術：使用 WebGPU 與 WebCodecs 進行高性能渲染與 mp4 匯出，而不會造成記憶體膨脹。
• 代理感知：AI 代理可以分析響度、靜音與鏡頭邊界，從而做出明智的編輯決策。