Lynpoint/CyberVerse

解決する課題

CyberVerseは、リアルタイムで見て、聞いて、話すことができるインタラクティブなデジタルヒューマンの作成を可能にします。低遅延の音声インタラクション、ペルソナに基づいた会話、および同期されたビデオアバターの調整という複雑な課題を解決し、ユーザーが1枚の写真から生きたデジタルエージェントを生み出すことを可能にします。

仕組み

このフレームワークはマルチエージェントアーキテクチャを採用しています。フォアグラウンドのPersonaAgentが流動的でリアルタイムな会話と割り込みを管理し、バックグラウンドのSubAgentsがリサーチや要約などの長時間かかるタスクを処理します。低遅延通信にはWebRTCを利用し、脳、音声、顔などのコンポーネントを置き換え可能なプラグインベースのスタックをサポートしています。ローカルモデル（FlashHeadやLiveActなど）を駆動させることも、クラウドベースのデジタルヒューマンAPIを使用することも可能です。

対象者

没入型AIエージェント、エンターテインメント用のデジタルキャラクター、または永続的なメモリと専門知識を必要とするインタラクティブな音声/ビデオアシスタントの構築を目指す開発者やクリエイター。

ハイライト

• リアルタイム・ビデオインタラクション: デジタルヒューマンとの全二重（full-duplex）で自然なビデオ通話をサポート。
• マルチエージェントアーキテクチャ: 会話の流れと重い計算タスクを分離。
• キャラクターメモリとRAG: 会話履歴にはローカルストレージを使用し、知識ベースのペルソナ調整にはRAGを使用。
• 拡張可能なプラグインシステム: LiteLLMのような統一インターフェースを介して、LLM、TTS、ASR、およびビジョンのモジュールを置換可能。