ddxfish/sapphire

解決する課題

Sapphire は、長期記憶、音声対話、そして物理的・デジタル世界との対話能力を備えた、高度にカスタマイズ可能な AI ペルソナを作成するために設計されたセルフホスト型エージェントフレームワークです。単純なチャットボットを超えて、AI エージェントが自律的に目標を管理し、シェルコマンドを実行し、スマートホームデバイスと統合できるシステムを提供することを目指しています。

仕組み

このシステムは、大規模言語モデル（LLM）のラッパーとして機能し、ローカル（Ollama/LM Studio 経由）とクラウドプロバイダーの両方をサポートします。セマンティックベクトル検索と、夜間に記憶を整理する「司書」を備えた階層型メモリエンジン（Mind Palace）を使用します。対話では、ウェイクワード検出、音声認識（STT）、音声合成（TTS）を組み合わせて、ハンズフリーの会話を実現します。AI が独自のツール、フック、UI コンポーネントを追加できるプラグインシステムにより、高度に拡張可能です。

対象ユーザー

プライベートでセルフホスト型の AI コンパニオン、または自システム上で自律的にタスクを実行しコードを実行できるスマートホームコントローラーを求める開発者や AI 愛好家向けに設計されています。

ハイライト

• 自律エージェント：シェルコマンドの実行、階層的な目標の管理、バックグラウンド AI ワーカー（エージェント）の生成が可能。
• 深い記憶：100K 以上のエントリにわたるセマンティックベクトル検索と、一貫したペルソナを維持するための夜間の整理プロセスを備えています。
• 音声統合：ウェイクワード、割り込み会話モード、実際の電話通話のための Twilio 統合を含む完全な音声スタック。
• 拡張可能なエコシステム：コミュニティ製ツールのプラグインストアと、AI が実行時に独自のプラグインを作成・インストールする機能。
• Crosspoint 統合：Home Assistant、Discord、Telegram、Email、Google Calendar、Bitcoin ウォレットをネイティブサポート。
• マルチモーダル機能：ウェブカメラ画像キャプチャ用のビジョン対応 LLM と、視覚的存在感のための 3D アニメーションアバターをサポート。