Code-Amadeus/Amadeus

Real-time multimodal desktop agent evolving toward a persistent AI OS interface (0.17 α).

解決する問題

音声アシスタント、デスクトップキャラクター、実行エージェントは通常、別々のウィンドウに存在します。1つはチャット、もう1つは実行、別の1つはターミナルで動作します。これにより、長時間のタスク中に何が起こっているか、どの権限が必要か、または障害後に作業が回復できるかどうかを確認することが難しくなります。Amadeus はこれらの体験を1つのループに接続し、話すまたはタイピング、具現化されたキャラクターの表示、実際の作業の委任、そしてコントロールの維持がすべて同じ場所で行われるようにします。

仕組み

Amadeus はローカルデスクトップアプリとローカルホストを実行します。ユーザーはメインチャットロールに話すかタイピングし、そのロールは専門のワークプロバイダー(日常タスク用の Pi、複雑なコーディング用の Codex、管理ページ用のブラウザなど)にタスクを委任します。すべてのツールをチャットモデルに直接与えるのではなく。音声とキャラクターのプレゼンテーションは専用コンポーネントによって処理されます:ASR はウェイクと会話用、TTS は合成用(ローカル GPT-SoVITS を含む)、SpriteForge はリップシンクと表情を備えたアニメーションキャラクターレンダリング用です。永続的なワークコントロールプレーンは、プロジェクト、ドラフト、権限、アーティファクト、リカバリを管理します。アーキテクチャは権限ドメインを意図的に分離します:メインチャット、ワークプロバイダー、AUIP アプリケーションセッションはそれぞれ異なる権限を持ち、共有 MCP/スキルレジストリはメインチャットから直接アクセスできません。すべての状態、アイデンティティ、権限はホスト検証済みの事実であり、モデルのナレーションではありません。

対象者

これは、ソースコードのビルドと実行に慣れている開発者とユーザー向けです。アルファ段階(0.17.1 Alpha)を対象としており、Python 3.12、Node.js、およびローカル音声モデル用の GPU(またはリモートサービス)が必要です。Windows をリファレンスプラットフォームとしてサポートし、macOS は Apple Silicon MPS、Linux は実ハードウェアで検証されています。プライバシーを重視し、音声とキャラクターを備えたローカル AI アシスタントを望み、インストールプロファイルを処理できるユーザーに役立ちます。

ハイライト

  • LLM、TTS、再生全体でバージインを備えた中断可能なリアルタイム音声会話
  • 共有再生タイムラインによって駆動されるリップシンク、字幕、感情を備えたアニメーションキャラクター
  • 専門プロバイダー(Pi、Codex、ブラウザ)への委任と、進行状況と権限リクエストの表示
  • 永続的なワークコントロール:プロジェクト、ドラフト、アーティファクト、続行/再試行、再起動リカバリ、構造化差分
  • 外部アプリケーションとの安全な対話のための AUIP 協調アプリケーションプロトコル
  • オプションのローカルモデル:TTS 用 GPT-SoVITS、認識用 Qwen3-ASR、ウェイクワード用 Silero VAD
  • Electron での統一設定とセキュリティのための権限ドメインの明確な分離
  • AGPL-3.0 の下でオープンソース、ビルド可能で実行可能なソースコード

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト