TokenRhythm/opensquilla

OpenSquilla — Token-Efficient AI Agent with same budget, higher intelligence density

OpenSquilla – 高效利用 Token 的微内核 AI 智能体

是什么 – OpenSquilla 是一个本地运行的 AI 智能体框架，它将每个用户回合路由到能够处理该请求的最便宜的 LLM。它结合了轻量级的设备端模型路由（SquillaRouter）、持久化记忆、沙盒化工具层、内置网页搜索和设备端嵌入（embeddings），所有这些都集成在一个单一的“回合循环”中。同一个循环驱动着桌面 GUI、CLI 和聊天频道集成，因此无论你通过何种方式与智能体对话，其行为都是一致的。

为什么重要 – 通过为每个回合自动选择最具成本效益的模型，OpenSquilla 在保持能力的同时减少了 Token 消耗。该路由器还可以集成多个模型，作者声称这种技术优于“Fable 5”基准测试。

关键组件

Component	Role
SquillaRouter	设备端路由器，决定调用哪个 LLM（支持 ONNX Runtime, LightGBM 等）
Provider layer	为 >20 个 LLM 提供商提供统一 API（TokenRhythm, OpenRouter, OpenAI, Anthropic, Ollama, Gemini, Qwen/DashScope, …）
Persistent memory	跨会话存储长期上下文
Layered sandbox	隔离工具执行和重试，确保工具使用的安全性
Built‑in web search & embeddings	无需外部服务即可实现检索增强生成
Control console	基于 Vue 的 Web UI，封装在 Electron 外壳中用于桌面使用

安装路径（选择其一）

桌面安装程序 – 预构建的 .dmg (macOS Apple Silicon) 或 .exe (Windows) 包含 Vue 控制台和所有原生运行时。无需 Git 或 Node。

快速终端安装 – 推荐所有操作系统使用。使用 uv Python 包管理器从 GitHub release 安装 wheel 文件：

uv tool install --python 3.12 "opensquilla[recommended] @ https://github.com/TokenRhythm/opensquilla/releases/download/v0.5.4/opensquilla-0.5.4-py3-none-any.whl"
opensquilla onboard
opensquilla gateway run

从源码安装 – 克隆仓库（Git LFS 会拉取模型资产），运行提供的 scripts/install_source.sh/.ps1，该脚本会构建 Vue UI、安装依赖并注册 opensquilla 命令。
开发模式从源码安装 – 针对贡献者。使用 uv sync 创建本地可编辑环境，然后运行 uv run opensquilla …。

注意 – 路由器需要原生运行时（Windows 上的 ONNX Runtime，macOS 上的 libomp）。桌面安装程序已捆绑这些运行时；终端安装可能需要你安装 Visual C++ redistributable (Windows) 或 brew install libomp (macOS)。

典型工作流

# 设置智能体（仅一次）
opensquilla onboard          # 创建配置，生成 install_id，运行遥测数据脱敏处理提示

# 启动网关（处理回合的长期运行进程）
opensquilla gateway run

# 通过 CLI, Web UI, 或已连接的频道（Slack, Discord, Matrix, 等）进行交互
opensquilla chat "Summarize the latest news about AI safety"

网关将：

接收用户回合。
询问 SquillaRouter 哪个提供商可以在 Token 预算内回答。
调用选定的 LLM，并可选择性地使用检索到的网页结果或嵌入（embeddings）来增强提示词。
将回合存储在持久化记忆中并记录路由决策。
将响应返回给原始接口。

支持的集成（开箱即用）

Feishu, Telegram, DingTalk, QQ, WeCom, Slack, Discord
可选扩展：Matrix (带有可选的端到端加密)，通过 WeasyPrint 生成 PDF，等。

隐私与遥测

OpenSquilla 发送的是伪匿名遥测数据，在首次启动和每天一次：安装 ID (哈希化的 MAC/IP)，版本，OS，Token 使用量统计，以及安装方法。不会传输内容、API 密钥或个人标识符。遥测和自动更新检查可以通过以下方式禁用：

[privacy]
disable_network_observability = true

或者使用旧版的环境变量 OPENSQUILLA_TELEMETRY_DISABLED / OPENSQUILLA_UPDATE_CHECK_DISABLED。

许可与社区

License: Apache 2.0 (宽松，允许商业使用)。
Documentation: 产品指南、CLI 参考手册和技术报告 (arXiv 2607.11399) 包含在仓库中。
Release status: 0.5.4 (稳定版)。持续开发在 main 分支进行；CI 标志显示自动化测试。
Support: 问题可以在 GitHub 上提交；网站 opensquilla.ai 提供报告、文档和联系方式。

谁可能会受益？

Developers 谁想要一个本地运行、具备成本意识的 LLM 智能体，而无需自行搭建多个路由器的连接。
Product teams 需要一个单一的二进制文件，可在 Windows/macOS/Linux 上运行并提供现el的桌面 UI。
Teams with strict data‑privacy 需求，因为核心路由和记忆功能都保留在设备端。。
Researchers 对“智能体路由”和随附技术报告中描述的“数据飞轮”概念感兴趣的人员。

快速开始清单

安装 uv (或者在从源码构建时拥有 Python 3.12+ 和 Node 22.12+)。
选择一个安装路径 (桌面安装程序或 uv tool install)。
运行 opensquilla onboard 以生成配置。
使用 opensquilla gateway run 启动网关。
通过 opensquilla chat 进行交互，或在 http://localhost:… 打开 Web UI。

总结： OpenSquilla 是一个真正的、生产级别的 AI 智能体平台，专注于 Token 高效路由、统一接口和设备端隐私保护。它文档齐全、跨平台，并采用宽松的开源许可。