Rvosy/Sakura

一个通用桌宠 Agent 框架，能导入自定义角色包，并让角色感知屏幕内容与系统事件，根据用户当前场景主动做出自然反应。

Sakura Desktop Pet – 是什麼

Sakura 是一個 開源的桌面寵物框架，可將一個角色（「寵物」）轉變為一個 AI 驅動的代理，存在於你的螢幕上。它會監視螢幕，回應系統事件，並能主動發起對話。寵物的性格、聲音和外觀來自一個 角色包（.char 檔案），該檔案捆綁了頭像、角色卡以及可選的 GPT-SoVITS 語音權重。

核心理念

傳統聊天機器人等待你輸入。Sakura 則反其道而行之：代理 主動決定何時說話，利用視覺上下文（截圖）和過去互動的記憶。可以把它想像成一個小小的夥伴，能提醒你任務、查找資訊，或在察覺你可能需要陪伴時主動聊天。

主要功能（如 README 所述）

類別	亮點
角色與外觀	• 一鍵匯入 `.char` 包（頭像、角色卡、語音）。 • 內建「角色工作室」（一個 Tauri 窗口），用於建立、編輯和匯出包。 • UI 支援純色、模糊、磨砂、macOS 原生玻璃；氣泡大小和位置可配置。
主動感知	• 定期螢幕截圖 → 視覺摘要加入 LLM 上下文。 • 輸入欄中按需區域截圖（支援多螢幕、高DPI）。 • 基於定期「我該說話嗎？」評估的自主發言。
對話體驗	• 雙語言回覆：日文原文 + 中文字幕，支援語氣標籤和繪圖命令。 • 在完整 LLM 回覆生成期間，快速本地「預回覆」（可選本地模型加速和 TTS）。 • 鍵盤打字效果和可捲動氣泡，保持寵物佈局穩定。 • 帶模糊和狀態指示器的精美輸入框。
工具與記憶能力	• 內建工具：截圖、開啟 URL、建立待辦/提醒、讀寫筆記。 • 分層長期記憶，儲存角色資訊、經歷、任務和習慣；可自動整理或手動編輯。 • 工具呼叫經過驗證，並以與主應用相同的權限執行；不鼓勵使用不可信插件。 • 支援多個 API 提供商設定（聊天、視覺、記憶整理使用不同金鑰/模型）。
語音（TTS）	• GPT-SoVITS 適配器；使用者需提供服務、模型檔案和語音權重。 • 支援自架設 GPT-SoVITS 實例，使其可在 macOS/AMD 硬體上使用。
插件與擴充	• MCP 伺服器介面 – 任何 MCP 相容伺服器均可接入（內建網頁搜尋 MCP）。 • 五個預設本地插件；可選 Playwright 基礎瀏覽器自動化插件（可單獨安裝）。 • 移動端 Web 客戶端插件 – 可透過手機傳送文字/圖片，並與桌面共享同一角色、歷史和記憶。
除錯與歷史	• GUI 日誌檢視器，顯示代理的決策過程和工具呼叫。 • 可搜尋的聊天歷史。 • Windows 和簽署 macOS 建構的自動更新（Tauri Updater）。

如何開始

下載發行版 – README 警告不要使用原始碼 ZIP；請從 Releases 頁面取得平台專用安裝檔或便攜 ZIP。
執行安裝程式（Windows）或解壓後執行 sakura.exe（便攜版）。macOS 和 Linux 使用者請參考 docs/userdocs/SETUP.md 中的詳細設定指南。
首次執行精靈 – 選擇或匯入一個 .char 包，然後輸入你的 LLM API 資訊（基礎 URL、金鑰、模型名稱）。後續啟動將重用現有設定。
互動 – 寵物將出現在角落，開始聆聽，也可能自行發言。你也可以手動輸入文字或傳送截圖。

誰會使用它

想要一個有趣、可視化的 LLM 驅動代理前端的 開發者或愛好者。
尋找能自主取得資訊、設定提醒或生成螢幕字幕的角色的 內容創作者。
享受桌面夥伴並希望嘗試「能看見螢幕的 AI 代理」的 任何人。

許可與社群

程式碼以 MIT 許可證 發布，允許自由使用、修改和再分發。此專案受到 Shinsekai 桌面寵物生態系統的啟發，並包含一個從另一個 MIT 許可專案衍生的可選 Playwright 瀏覽器插件。

以上所有細節均直接來自倉儲的 README；未推斷任何額外功能。