Rvosy/Sakura

一个通用桌宠 Agent 框架，能导入自定义角色包，并让角色感知屏幕内容与系统事件，根据用户当前场景主动做出自然反应。

Sakura Desktop Pet – 何であるか

Sakuraは、オープンソースのデスクトップペットフレームワークであり、キャラクター（"ペット"）をAI駆動のエージェントに変えるものです。画面を監視し、システムイベントに反応し、自発的に会話を始めることもできます。ペットの性格、声、外見は、キャラクターパック（.charファイル）から来ます。このパックにはポートレート、"ロールカード"、およびオプションのGPT-SoVITS音声ウェイトが含まれます。

コアアイデア

従来のチャットボットは、あなたが入力するのを待つだけです。Sakuraはその逆です：エージェントは視覚的文脈（スクリーンショット）と過去のやり取りの記憶を使って、いつ話すべきかを自ら判断します。まるで、あなたが気分が沈んでいると感じたときに、タスクを思い出させる、情報を調べてくれる、あるいはただ会話したいときに寄り添ってくれる小さなコンパニオンです。

主な機能（READMEに記載された内容）

カテゴリ	ハイライト
キャラクターと外見	• 1クリックで`.char`パック（ポートレート、ロールカード、音声）をインポート。 • ビルトインの「Character Studio」（Tauriウィンドウ）でパックの作成・編集・エクスポートが可能。 • UIはソリッドカラー、ブルーム、アクリル、macOSネイティブガラスをサポート。バブルのサイズと位置はカスタマイズ可能。
アクティブな認識	• 定期的な画面キャプチャ → 視覚的要約がLLMコンテキストに追加。 • 入力バーからオンデマンドで領域キャプチャ（マルチモニター、高DPI対応）。 • 定期的な「話すべきか？」評価に基づく自発的な発話。
会話体験	• 二言語返答：日本語オリジナル＋中国語字幕、トーンタグ、描画コマンドをサポート。 • 完全なLLM応答生成中でも、ローカルで「プレリプライ」を高速表示（オプションのローカルモデルブーストとTTS）。 • タイピングエフェクトとスクロール可能なバブルで、ペットのレイアウトを安定させる。 • ブルームとステータスインジケータを備えたスタイリッシュな入力ボックス。
ツールと記憶機能	• ビルトインツール：スクリーンショット、URL開く、ToDo/リマインダー作成、ノートの読み書き。 • ハイエラルキカルな長期記憶：キャラクター情報、体験、タスク、習慣を保存可能。自動整理または手動編集が可能。 • ツール呼び出しはメインアプリと同じ権限で検証・実行。信頼できないプラグインは推奨しない。 • 複数のAPIプロバイダープロファイル（チャット、ビジョン、記憶整理用に異なるキー/モデル）。
音声（TTS）	• GPT-SoVITS用アダプター。ユーザーがサービス、モデルファイル、音声ウェイトを提供。 • オンプレミスのGPT-SoVITSインスタンスをサポートし、macOS/AMDハードウェアでも利用可能。
プラグインと拡張	• MCPサーバーインターフェース – 任意のMCP互換サーバーを接続可能（ビルトインのWeb検索MCP）。 • 5つのデフォルトローカルプラグイン；オプションのPlaywrightベースブラウザ自動化プラグイン（別途インストール可能）。 • モバイルWebクライアントプラグイン – スマートフォンからテキスト/画像を送信し、同じキャラクター、履歴、記憶を共有可能。
デバッグと履歴	• GUIログビューアでエージェントの意思決定プロセスとツール呼び出しを表示。 • 検索可能なチャット履歴。 • Windowsと署名済みmacOSビルド用の自動アップデータ（Tauri Updater）。

使い始め方

リリースをダウンロード – READMEはソースZIPの使用を警告しています。Releasesページからプラットフォーム固有のインストーラーまたはポータブルZIPを取得してください。
インストーラーを実行（Windows）またはZIPを解凍してsakura.exeを起動（ポータブル）。macOSおよびLinuxユーザーはdocs/userdocs/SETUP.md内の詳細なセットアップガイドに従ってください。
初回起動ウィザード – .charパックを選びまたはインポートし、LLM APIの詳細（ベースURL、キー、モデル名）を入力します。後続の起動では既存の設定が再利用されます。
対話 – ペットが画面の隅に表示され、聞き取りを開始し、自発的に話すかもしれません。手動でテキストを入力したり、スクリーンショットを送信することもできます。

どんな人が使うか

LLM駆動エージェントの遊び心のある視覚的フロントエンドを望む開発者や趣味人。
情報を自動取得、リマインダーを設定、または画面内キャプションを生成できるキャラクターを探しているコンテンツクリエイター。
デスクトップコンパニオンを楽しむ人で、画面を「見る」AI駆動エージェントを実験したい人。

ライセンスとコミュニティ

コードはMITライセンスの下で公開されており、自由な使用、改変、再配布が可能です。プロジェクトはShinsekaiデスクトップペットエコシステムからインスピレーションを得ており、別のMITライセンスのリポジトリから派生したオプションのPlaywrightブラウザプラグインを含んでいます。

上記のすべての詳細は、リポジトリのREADMEから直接引用されています。追加の機能は推測されていません。