xeronsh/openOii

何を解決するか

openOii は、ストーリーのアイデアをAI生成された漫画風動画に変換するプロセスを自動化します。計画、キャラクターとストーリーボードの生成、最終動画の制作と合成という複雑なパイプラインを管理し、無限キャンバスを介してプロセスを視覚的に確認できるようにします。

動作方法

このプロジェクトは、マルチステージAI生成パイプラインを管理するためのコアオーケストレーションエンジンとして LangGraph を使用しています。FastAPIバックエンドとReactフロントエンドを統合し、リアルタイムの進捗更新にWebSocketsを使用しています。ユーザーはストーリーのアイデアとスタイルを選択し、AIエージェントの連続実行によって計画とアセット作成を処理します。結果は、tldrawで駆動される無限キャンバスに表示され、レビューが可能です。

対象ユーザー

主に、LangGraph を使用したマルチステージAIオーケストレーション、ステートの復元、リアルタイムのフロントエンド・バックエンド連携に興味を持つ開発者向けの学習およびデモプロジェクトとして設計されています。

特徴

• マルチステージパイプライン: ストーリーのコンセプトから最終的な動画合成まで、全体のフローをオーケストレーションします。
• インタラクティブキャンバス: tldrawを活用した無限キャンバスで、キャラクター、ストーリーボード、最終結果をレビューできます。
• 実行制御: 復元可能で、キャンセル可能、フィードバック駆動の実行プロセスをサポートします。
• リアルタイム更新: 生成中の進捗をライブで追跡するためのWebSocket統合を実装しています。