xikhar/persona

解決する課題

Persona は、デスクトップ上の音声ベースの AI アシスタントに視覚的なアイデンティティを提供します。リアルタイムで表情豊かな 3D キャラクターアバターを作成し、他のアプリケーションからの音声出力に反応することで、「見えない」音声インタラクションの問題を解決し、インタラクションをより具現化し、存在感のあるものにします。

仕組み

Persona はクロスプラットフォームのデスクトップアプリケーションであり、システムの音声出力（Linux では PipeWire、Windows では WASAPI、macOS では Core Audio を使用）を監視して、AI アシスタントが話していることを検出します。.vrm および .vrma ファイルを使用して、その音声アクティビティに基づいて「Idle（待機中）」と「Speaking（発話中）」のアニメーションを実行する 3D キャラクターをレンダリングします。Model Context Protocol (MCP) サーバーを介して AI エージェントと統合でき、エージェントが特定のカスタムアニメーションをトリガーしたり、アバターの表示を制御したりできます。

対象ユーザー

ローカルまたはクラウドベースの音声 AI スタックに視覚的なコンパニオンを求めるユーザー、そしてデスクトップ上でユーザーに具体的で表情豊かな視覚的な存在感を提供したい AI エージェントを開発する開発者向けです。

ハイライト

• クロスプラットフォーム対応: Windows、macOS、Linux で動作します。
• 音声リアクティブ: 選択されたプロセスからの音声出力を自動的に検出し、発話アニメーションをトリガーします。
• MCP 統合: 接続された AI エージェントが特定のアニメーションをトリガーし、アバターの状態を報告できるようにします。
• カスタマイズ可能なアバター: カスタムの .vrm モデルと .vrma アニメーションのインポートをサポートします。
• デスクトップペットとしての動作: アバターが他のウィンドウの上を浮遊し、インタラクションをブロックせずに動作する「クリックスルー」モードを含みます。
• カーソル追跡: キャラクターの目と頭がマウスポインターを追跡できます。