Shumai: 创意工作的开源 Frame.io 替代方案

Shumai 是一个开源平台，旨在作为 Frame.io 的替代方案，使创意团队能够通过精确的、基于帧的反馈来管理资产并进行协作。它将传统的媒体评审工具与现代 AI 能力和灵活的存储选项相结合，以简化制作流程。

核心协作与资产管理

Shumai 为创意资产的高精度评审和安全分发提供工具。

逐帧注释

评审人员可以使用带有时间戳的评论和特定帧的绘图工具提供精确的反馈。这使得团队能够精准定位视频中的确切时刻或图像中的特定区域以进行调整，从而减少创意反馈中常见的歧义。

存储与访问控制

Shumai 支持灵活的存储后端和细粒度的安全性：

• 存储选项：资产可以存储在本地文件系统或任何兼容 S3 的云存储上，包括 AWS S3、Cloudflare R2 和 MinIO。
• 共享：用户可以创建精选的媒体集合并为外部利益相关者和客户创建安全的公共共享链接。
• 权限：该平台在团队和项目级别实现基于角色的访问控制 (RBAC)，以管理工作区权限。

制作流程集成

为了处理视频工作的高资源消耗特性，Shumai 利用 Temporal 来编排后台工作池以进行分布式转码。此外，用户可以定义自定义动态元数据字段，以根据其特定的制作流程需求量身定制平台。

Shumai AI Agent

Shumai 将上下文感知的 AI agent 直接集成到项目工作区中，以实现资产管理自动化并扩展平台功能。

AI 驱动的自动化

• 元数据生成：使用 Google Gemini，该 agent 可以自动为新资产生成标签、描述和自定义元数据。
• 语义搜索：该平台使用向量嵌入 (vector embeddings) 来实现语义搜索，允许用户基于概念或视觉查询而非仅仅基于文件名或标签来定位资产。

可扩展性与安全性

AI agent 设计为可扩展且安全的：

• 自定义技能：开发者可以注册自定义脚本和自动化工具来扩展 agent 的能力。
• 沙箱执行：为了确保系统安全性，所有 agent 提交的脚本都在隔离的沙箱环境中执行。

技术架构与安装

Shumai 旨在通过多种方法进行部署，其 AI 和搜索功能需要一个带有 pgvector 扩展的 PostgreSQL 数据库。

部署选项

• Docker Compose：最快的部署方法，允许用户无需手动安装软件包即可启动平台。
• NPM/Package Manager：作为 @shumai-one/shumai 提供，允许通过 NPM、PNPM 或 Bun 进行全局或本地安装。
• 源码构建：对于开发者，可以克隆项目并使用 Bun 运行。

系统依赖

根据安装方法，需要以下系统级依赖：

• ffmpeg：用于媒体转码和元数据提取。
• bubblewrap：为 AI agent 提供沙箱环境（在 macOS 上不需要）。
• socat：用于沙箱网络桥接的双向套接字中继。
• ripgrep：用于快速搜索工作区安全策略。

命令行界面

Shumai 包含一个 CLI 工具，使用户能够直接从终端管理项目、文件夹和资产，上传文件并创建新版本。