Rvosy/Sakura

一个通用桌宠 Agent 框架，能导入自定义角色包，并让角色感知屏幕内容与系统事件，根据用户当前场景主动做出自然反应。

Sakura Desktop Pet – 是什么

Sakura 是一个 开源的桌面宠物框架，可将一个角色（"宠物"）转变为一个 AI 驱动的代理，存在于你的屏幕上。它会监视屏幕，响应系统事件，并能自主发起对话。宠物的性格、声音和外观来自一个 角色包（.char 文件），该文件捆绑了头像、角色卡以及可选的 GPT-SoVITS 语音权重。

核心理念

传统聊天机器人等待你输入。Sakura 则反其道而行之：代理 主动决定何时说话，利用视觉上下文（截图）和过往互动的记忆。可以把它想象成一个小小的伙伴，能提醒你任务、查找信息，或在察觉你可能需要陪伴时主动聊天。

主要功能（如 README 所述）

类别	亮点
角色与外观	• 一键导入 `.char` 包（头像、角色卡、语音）。 • 内置“角色工作室”（一个 Tauri 窗口），用于创建、编辑和导出包。 • UI 支持纯色、模糊、磨砂、macOS 原生玻璃；气泡大小和位置可配置。
主动感知	• 定期屏幕截图 → 视觉摘要添加到 LLM 上下文。 • 输入栏中按需区域截图（支持多显示器、高DPI）。 • 基于定期“我该说话吗？”评估的自主发言。
对话体验	• 双语言回复：日文原文 + 中文字幕，支持语气标签和绘图命令。 • 在完整 LLM 回复生成期间，快速本地“预回复”（可选本地模型加速和 TTS）。 • 打字机效果和可滚动气泡，保持宠物布局稳定。 • 带模糊和状态指示器的精美输入框。
工具与记忆能力	• 内置工具：截图、打开 URL、创建待办/提醒、读写笔记。 • 分层长期记忆，存储角色信息、经历、任务和习惯；可自动整理或手动编辑。 • 工具调用经过验证，并以与主应用相同的权限执行；不鼓励使用不可信插件。 • 支持多个 API 提供商配置（聊天、视觉、记忆整理使用不同密钥/模型）。
语音（TTS）	• GPT-SoVITS 适配器；用户需提供服务、模型文件和语音权重。 • 支持自托管 GPT-SoVITS 实例，使其可在 macOS/AMD 硬件上使用。
插件与扩展	• MCP 服务器接口 – 任何 MCP 兼容服务器均可接入（内置网页搜索 MCP）。 • 五个默认本地插件；可选 Playwright 基础浏览器自动化插件（可单独安装）。 • 移动端 Web 客户端插件 – 可通过手机发送文本/图片，并与桌面共享同一角色、历史和记忆。
调试与历史	• GUI 日志查看器，显示代理的决策过程和工具调用。 • 可搜索的聊天历史。 • Windows 和签名 macOS 构建的自动更新（Tauri Updater）。

如何开始

下载发布版 – README 警告不要使用源码 ZIP；请从 Releases 页面获取平台专用安装包或便携 ZIP。
运行安装程序（Windows）或解压后运行 sakura.exe（便携版）。macOS 和 Linux 用户请参考 docs/userdocs/SETUP.md 中的详细设置指南。
首次运行向导 – 选择或导入一个 .char 包，然后输入你的 LLM API 信息（基础 URL、密钥、模型名称）。后续启动将复用现有配置。
互动 – 宠物将出现在角落，开始监听，也可能自行发言。你也可以手动输入文字或发送截图。

谁会使用它

想要一个有趣、可视化的 LLM 驱动代理前端的 开发者或爱好者。
寻找能自主获取信息、设置提醒或生成屏幕字幕的角色的 内容创作者。
享受桌面伙伴并希望尝试“能看见屏幕的 AI 代理”的 任何人。

许可与社区

代码以 MIT 许可证 发布，允许自由使用、修改和再分发。该项目受到 Shinsekai 桌面宠物生态系统的启发，并包含一个从另一个 MIT 许可项目派生的可选 Playwright 浏览器插件。

以上所有细节均直接来自仓库的 README；未推断任何额外功能。