openspline/openspline

解決する課題

OpenSpline を使用すると、開発者は既存の音声 AI エージェントに同期したトーキングフェイスを追加できます。音声のみの AI 応答とビジュアルアバターの間のギャップを埋め、最小限のセットアップで静的ポートレートと生成された音声をライブの動くビデオストリームに変換できます。

仕組み

オーディオ駆動のトーキングヘッドモデルを使用して、入力オーディオストリームに基づいてポートレートをアニメーション化します。開発者は Python または Node.js SDK を使用して既存のエージェントワークフローに統合できます。システムはオーディオとビデオの同期を処理し、割り込み（バージイン）処理をサポートし、アバター表示用の組み込み Web コンポーネントを提供します。OpenSpline Cloud 経由で実行するか、自社の NVIDIA GPU ハードウェアでセルフホストできます。

対象者

このツールは、音声ベースのアプリケーションにビジュアルインターフェースを追加したい、会話型 AI エージェントを構築する開発者向けです。すでにエージェント（OpenAI、LiveKit、Gemini、ElevenLabs などのプロバイダーを使用）を持ち、既存のロジックを再構築せずに顔を追加したい人向けに設計されています。

ハイライト

• ほとんどの音声 AI エージェントで 5 行の統合。
• LiveKit、OpenAI Realtime、ElevenLabs などの人気フレームワーク用の組み込みコネクタ。
• クラウドホストとセルフホスト（ローカル GPU）の両方のデプロイメントをサポート。
• アバター表示用のすぐ使える React および Web コンポーネントが含まれています。
• 音声とビデオの同期、アイドルモーション、バージイン割り込みなどの複雑な機能を処理します。