ddxfish/sapphire

解决的问题

Sapphire 是一个自托管的代理框架，旨在创建高度可定制的 AI 角色，具备长期记忆、语音交互，以及与物理和数字世界交互的能力。它旨在超越简单的聊天机器人，提供一个 AI 代理可以自主管理目标、执行 shell 命令，并与智能家居设备集成的系统。

工作原理

该系统作为大型语言模型（LLM）的包装器，支持本地（通过 Ollama/LM Studio）和云提供商。它使用分层记忆引擎（Mind Palace），具备语义向量搜索和一个“图书管理员”每晚整理记忆。在交互方面，它结合了唤醒词检测、语音转文本（STT）和文本转语音（TTS），以实现免提对话。它通过插件系统高度可扩展，允许 AI 添加自己的工具、钩子和 UI 组件。

适用对象

它专为开发者和 AI 爱好者设计，他们想要一个私密的、自托管的 AI 伴侣，或一个可以自主执行任务并在自己的系统上运行代码的智能家居控制器。

亮点

• 自主代理：能够执行 shell 命令、管理层级目标，并生成后台 AI 工作者（代理）。
• 深度记忆：具备超过 100K 条目的语义向量搜索，以及每晚的整理过程，以维持一致的角色。
• 语音集成：完整的语音栈，包括唤醒词、插话对话模式，以及与 Twilio 集成以进行真实电话通话。
• 可扩展生态系统：一个社区制作工具的插件商店，以及 AI 在运行时编写和安装自己的插件的能力。
• Crosspoint 集成：原生支持 Home Assistant、Discord、Telegram、Email、Google Calendar 和 Bitcoin 钱包。
• 多模态能力：支持具备视觉能力的 LLM，用于网络摄像头图像捕获，以及 3D 动画头像以提供视觉存在感。