Shumai: クリエイティブワークのためのオープンソースのFrame.io代替品

Shumaiは、Frame.ioの代替として設計されたオープンソースプラットフォームであり、クリエイティブチームがアセットを管理し、フレーム単位の正確なフィードバックを通じてコラボレーションすることを可能にします。従来のメディアレビューツールと、最新のAI機能、柔軟なストレージオプションを組み合わせることで、制作パイプラインを効率化します。

コア・コラボレーションとアセット管理

Shumaiは、高精度なレビューとクリエイティブアセットの安全な配布のためのツールを提供します。

フレーム単位のアノテーション

レビューアーは、タイムスタンプ付きのコメントとフレーム単位の描画ツールを使用して、正確なフィードバックを提供できます。これにより、チームはビデオ内の正確な瞬間や画像の特定の領域をピンポイントで特定し、クリエイティブなフィードバックにありがちな曖昧さを軽減できます。

ストレージとアクセス制御

Shumaiは、柔軟なストレージバックエンドと詳細なセキュリティをサポートしています：

• ストレージオプション: アセットは、ローカルファイルシステムまたは、AWS S3、Cloudflare R2、MinIOを含むあらゆるS3互換のクラウドストレージに保存できます。
• 共有: ユーザーは、厳選されたメディアコレクションと、外部のステークホルダーやクライアント向けの安全な公開共有リンクを作成できます。
• 権限: プラットフォームは、ワークスペースの権限を管理するために、チームレベルとプロジェクトレベルの両方でロールベースのアクセス制御（RBAC）を実装しています。

制作パイプラインの統合

ビデオ制作の負荷の高い性質に対処するため、ShumaiはTemporalを利用して、分散トランスコーディングのためのバックグラウンドワーカープールをオーケストレートします。さらに、ユーザーはカスタムの動的メタデータフィールドを定義して、プラットフォームを特定の制作パイプラインの要件に合わせてカスタマイズできます。

Shumai AIエージェント

Shumaiは、コンテキストを認識するAIエージェントをプロジェクトワークスペースに直接統合し、アセット管理を自動化し、プラットフォームの機能を拡張します。

AIによる自動化

• メタデータ生成: Google Geminiを使用することで、エージェントは新しいアセットに対してタグ、説明、およびカスタムメタデータを自動的に生成できます。
• セマンティック検索: プラットフォームはベクトル埋め込みを使用してセマンティック検索を可能にし、ユーザーがファイル名やタグだけでなく、概念的または視覚的なクエリに基づいてアセットを特定できるようにします。

拡張性とセキュリティ

AIエージェントは、拡張性とセキュリティを考慮して設計されています：

• カスタムスキル: 開発者は、カスタムスクリプトや自動化ツールを登録して、エージェントの機能を拡張できます。
• サンドボックス実行: システムのセキュリティを確保するため、エージェントが提出したすべてのスクリプトは、隔離されたサンドボックス環境内で実行されます。

技術アーキテクチャとインストール

Shumaiは、複数の方法でデプロイ可能であり、AIおよび検索機能のためにpgvector拡張機能を持つPostgreSQLデータベースを必要とします。

デプロイオプション

• Docker Compose: 最も速いデプロイ方法であり、ユーザーは手動でのパッケージインストールなしでプラットフォームを起動できます。
• NPM/Package Manager: @shumai-one/shumaiとして利用可能で、NPM、PNPM、またはBunを介してグローバルまたはローカルにインストールできます。
• ソースビルド: 開発者の場合、プロジェクトをクローンしてBunを使用して実行できます。

システム依存関係

インストール方法に応じて、以下のシステムレベルの依存関係が必要です：

• ffmpeg: メディアのトランスコーディングとメタデータ抽出に使用されます。
• bubblewrap: AIエージェントのためのサンドボックス環境を提供します（macOSでは不要です）。
• socat: サンドボックスのネットワークブリッジのための双方向ソケットリレーに使用されます。
• ripgrep: ワークスペースのセキュリティポリシーの高速検索に使用されます。

コマンドラインインターフェース

Shumaiは、プロジェクト、フォルダ、アセットを管理し、ファイルをアップロードし、ターミナルから直接新しいバージョンを作成するためのCLIツールを含んでいます。