daydreamlive/scope

A tool for running and customizing real-time, interactive generative AI pipelines and models

何を解決するか

Scopeは、リアルタイムで生成AIビデオパイプラインを実行・カスタマイズ・操作する方法を提供します。低遅延ビデオ生成の管理の難しさと、異なるモデルや処理技術を組み合わせられるコンポーザブルなシステムの必要性に対応しています。

動作方法

コンポーザブルパイプラインアーキテクチャを使用しており、自己回帰型ビデオ拡散モデル（StreamDiffusionV2やLongLiveなど）と設定可能なVAEをサポートしています。ユーザーはビデオ拡散と、フレーム補間や深度マッピングなどの他の技術を組み合わせることができます。タイムラインエディタを備えたインタラクティブUIを備え、WebRTC、NDI、Spout、Syphonを介したリアルタイムストリーミングをサポートし、ネットワークやローカルアプリケーション間でビデオを共有できます。

対象ユーザー

リアルタイムでインタラクティブな生成ビデオ機能が必要なクリエイターおよび開発者、およびプラグインやLoRAを使用してカスタムAIビデオパイプラインを構築したい人向けです。

主な特徴

  • リアルタイムパイプライン: 低遅延非同期ビデオ処理とWebRTCストリーミングをサポート。
  • コンポーザブルアーキテクチャ: ビデオ拡散と深度マッピング、フレーム補間を組み合わせ可能。
  • 拡張性: 新しいモデルやビジュアルエフェクト用のプラグイン、スタイルカスタマイズ用のLoRAをサポート。
  • 広範な統合: NDI、Spout、Syphonとの統合により、スムーズなビデオ共有を実現。
  • インタラクティブ制御: タイムラインエディタ、テキストプロンプト、パラメータコントロールを備えたUIを提供。

関連

  • プロジェクト
    myccarl/ai-shortVideo-pipeline

    myAiVideos は、Docker Compose を基盤としたオープンソースシステムで、中国語コンテンツ向けの短編動画作成ワークフロー（トピック → スクリプト → ビジュアル → オーディオ → 編集 → 配信）を完全自動化します。FastAPI オーケストレーターと Java Spring-Boot ゲートウェイ（認証、ルーティング、回路遮断、メータリング）を用い、DeepSeek、GLM、Kling、TTS サービスなど複数のLLMおよびマルチモーダルモデルと統合しています。パイプラインはレイヤード構造で、フェイルオーバー対応、Langfuse および Prometheus を通じた完全な観測性を備えています。

  • プロジェクト
    SamurAIGPT/Vibe-Workflow

    Vibe Workflow は、生成画像および動画パイプラインを構築するためのオープンソースでMITライセンスのノードベース視覚エディタです。Next.jsフロントエンド、MuAPIの生成モデルを呼び出すFastAPIバックエンド、再利用可能なワークフロービルダーUIライブラリから構成されています。Dockerまたは手動で自己ホスティング可能、またはホステッドSaaS版を利用でき、カスタムノードで任意のAIモデルや外部APIを呼び出すことも可能です。

  • プロジェクト
    Comfy-Org/ComfyUI

    ビジュアルプロフェッショナル向けのモジュール式ノードベースのAIエンジンで、すべてのパラメータを正確に制御しながら、画像、動画、音声、3Dモデルを作成できます。

  • プロジェクト
    zenstory-ai/video-recap-skills

    Video Recap Skills は、AI エージェント向けのプラグインスイートで、あらゆるビデオを短い中国語ナレーション付きの要約に自動変換します。音声認識、視覚言語分析、テキスト読み上げには Xiaomi MiMo を使用し、ローカルでは ffmpeg のみが必要です。エージェントはストーリープランを作成し、クリップを選択し、ナレーションを書き、TTS を生成し、すべてをミックスして、MP4 と字幕を出力します。さらに手動編集のために、マルチトラックの剪映/CapCut ドラフトをエクスポートすることもできます。インストールは、いくつかの brew/apt コマンド、MiMo API キーの設定、Claude Code、Codex CLI、OpenCode、または OpenClaw へのプラグイン追加で完了します。リポジトリは MIT ライセンスで、ZenStory AI オープンソースエコシステムの一部です。

  • プロジェクト
    crisng95/flowkit

    Google Flow を介して AI 動画制作を自動化するスタンドアロンシステム。Chrome 拡張機能ブリッジを使用して認証を処理し、シーン間の視覚的一貫性を維持するパイプラインを備えています。