daydreamlive/scope

何を解決するか

Scopeは、リアルタイムで生成AIビデオパイプラインを実行・カスタマイズ・操作する方法を提供します。低遅延ビデオ生成の管理の難しさと、異なるモデルや処理技術を組み合わせられるコンポーザブルなシステムの必要性に対応しています。

動作方法

コンポーザブルパイプラインアーキテクチャを使用しており、自己回帰型ビデオ拡散モデル（StreamDiffusionV2やLongLiveなど）と設定可能なVAEをサポートしています。ユーザーはビデオ拡散と、フレーム補間や深度マッピングなどの他の技術を組み合わせることができます。タイムラインエディタを備えたインタラクティブUIを備え、WebRTC、NDI、Spout、Syphonを介したリアルタイムストリーミングをサポートし、ネットワークやローカルアプリケーション間でビデオを共有できます。

対象ユーザー

リアルタイムでインタラクティブな生成ビデオ機能が必要なクリエイターおよび開発者、およびプラグインやLoRAを使用してカスタムAIビデオパイプラインを構築したい人向けです。

主な特徴

• リアルタイムパイプライン: 低遅延非同期ビデオ処理とWebRTCストリーミングをサポート。
• コンポーザブルアーキテクチャ: ビデオ拡散と深度マッピング、フレーム補間を組み合わせ可能。
• 拡張性: 新しいモデルやビジュアルエフェクト用のプラグイン、スタイルカスタマイズ用のLoRAをサポート。
• 広範な統合: NDI、Spout、Syphonとの統合により、スムーズなビデオ共有を実現。
• インタラクティブ制御: タイムラインエディタ、テキストプロンプト、パラメータコントロールを備えたUIを提供。