Shumai：為創意工作打造的開源 Frame.io 替代方案

Shumai 是一個開源平台，旨在作為 Frame.io 的替代方案，讓創意團隊能夠管理資產並透過精確的逐格回饋進行協作。它結合了傳統的媒體審查工具、現代 AI 能力與彈性儲存選項，以簡化製作流程。

核心協作與資產管理

Shumai 提供高精度審查與安全分發創意資產的工具。

逐格註解

審查者可以使用帶時間戳的評論與逐格繪圖工具提供精確回饋。這讓團隊能夠 pinpoint（精確定位）影片中的特定時刻或影像的特定區域需要調整，減少創意回饋中常見的模糊性。

儲存與存取控制

Shumai 支援彈性的儲存後端與細緻的安全性設定：

• 儲存選項：資產可以儲存在本機檔案系統或任何相容 S3 的雲端儲存，包括 AWS S3、Cloudflare R2 與 MinIO。
• 分享：使用者可以建立精選的媒體集合，並為外部利害關係人與客戶產生安全的公開分享連結。
• 權限：平台在團隊與專案層級實作基於角色的存取控制（RBAC），以管理工作區的權限。

製作流程整合

為了因應影片工作對資源的高需求，Shumai 使用 Temporal 來協調背景工作池，以進行分散式轉碼。此外，使用者可以定義自訂的動態中繼資料欄位，將平台客製化以符合特定的製作流程需求。

Shumai AI 代理人

Shumai 將具情境感知的 AI 代理人直接整合到專案工作區，以自動化資產管理並擴展平台功能。

AI 驅動的自動化

• 中繼資料生成：使用 Google Gemini，代理人能自動為新資產產生標籤、描述與自訂中繼資料。
• 語意搜尋：平台利用向量嵌入實現語意搜尋，讓使用者能根據概念或視覺查詢而非僅檔名或標籤來定位資產。

可擴充性與安全性

AI 代理人設計為可擴充且安全：

• 自訂技能：開發者可以註冊自訂腳本與自動化工具，以擴充代理人的功能。
• 沙盒執行：為確保系統安全，所有由代理人提交的腳本皆在隔離的沙盒環境中執行。

技術架構與安裝

Shumai 以可透過多種方式部署為設計目標，需搭配具備 pgvector 擴充功能的 PostgreSQL 資料庫，以支援其 AI 與搜尋功能。

部署選項

• Docker Compose：最快速的部署方式，讓使用者無需手動安裝套件即可啟動平台。
• NPM/套件管理器：以 @shumai-one/shumai 形式提供，可透過 NPM、PNPM 或 Bun 進行全域或本地安裝。
• 原始碼建置：開發者可克隆專案並使用 Bun 執行。

系統相依性

依據安裝方式的不同，需安裝以下系統層級相依性：

• ffmpeg：用於媒體轉碼與中繼資料擷取。
• bubblewrap：為 AI 代理人提供沙盒環境（macOS 不需）。
• socat：用於沙盒網路橋接的雙向 socket 中繼。
• ripgrep：用於快速搜尋工作區安全政策。

命令列介面

Shumai 包含一個 CLI 工具，讓使用者能從終端機管理專案、資料夾與資產、上傳檔案，並直接建立新版本。