octos-org/octos

Octos – 你可自行运行的开源「智能体操作系统」

是什么 – Octos 是一个用 Rust 编写的后端，让你可以在自己的机器（或自托管服务器）上运行一个功能完整的 AI 助手。它可连接任意主流 LLM 提供商（OpenAI、Anthropic、Gemini、DeepSeek 等），并提供丰富的 REST 端点和 JSON-RPC「UI 协议」，供客户端应用使用。

为何重要 – 大多数聊天机器人项目都是单用户、单模型的服务。Octos 专为 多租户 设计：一个仅 31 MB 的二进制文件即可托管数百个隔离的「配置文件」，每个配置文件拥有独立的提示词、模型、工具和记忆。它还支持 多 LLM 流水线（不同步骤使用不同模型）和 群集分发，可将任务分发给多个工作节点并聚合结果。

核心组件

• Kernel（本仓库） – 核心运行时：提供方适配器、工具沙箱、记忆层、会话管理以及 HTTP/WebSocket API。
• octos-web – 浏览器端 UI（聊天、语音、文档创建、管理仪表盘），已打包进二进制文件，通过 /app/ 提供服务。
• octoscode – 类似 Claude Code 的终端风格客户端。

如何运行

1. 通过 Homebrew、npm 或提供的 install.sh 脚本安装二进制文件。
2. 运行 octos init 选择提供方和模型，然后通过 octos auth login 登录。
3. 使用 octos serve --solo（本地开发）启动服务器，或安装为后台服务（端口 8080）。
4. 打开 http://localhost:50080/app/（或服务端口）开始聊天。

可实际使用的功能

• 80+ 个 REST 端点：用于聊天、会话、配置文件、技能、调度、指标、Webhook 等。
• 14 种消息通道（Telegram、Discord、WhatsApp、Slack 类服务、Matrix 等）—— 同一后端可被多个聊天应用访问。
• 工具沙箱：使用 bwrap、Landlock、Docker 或 Windows AppContainer 安全执行代码、网络搜索、文件操作、办公套件生成（DOCX/PPTX/XLSX）。
• 三层记忆机制：长期实体存储、事件型 Redb 存储、以及由 LLM 驱动压缩的会话级 JSONL。
• 自主性原语：/goal <目标> 可使智能体跨轮次持续工作，/loop 可运行周期性任务，可将会话回滚至任意先前轮次。
• 群集调度器：将请求分发给多个工作节点（包括外部 MCP 工具），并聚合结果，内置成本追踪与故障转移功能。
• 提供方故障转移：三层路由（重试 → 链式 → 自适应），可在模型间进行风险对冲，并在出错时切断电路。
• 其他语言绑定：C/Go（octos-ffi）、Python（octos-pyo3）、Swift/Kotlin（octos-uniffi）、WebAssembly（octos-wasm）。
• UI 协议 v1：基于 WebSocket 或 stdio 的 JSON-RPC，使任何前端（Web、终端、编辑器）均可与同一后端通信。

典型使用场景

• 一个可在本地运行代码、浏览网页、记录笔记的个人 AI 助手，同时确保数据本地化。
• 一个团队级「智能体操作系统」，每位用户拥有独立配置文件，但共享同一服务器。
• 通过 Rust crate 或语言绑定将智能体循环嵌入其他软件中。
• 构建调用外部工具的定制化智能体，通过 MCP（模型客户端协议）系统实现。

了解更多

• 完整文档站点： https://octos-org.github.io/octos/
• 自托管指南（含云+租户部署）： https://github.com/octos-org/octos-web#self-hosting--deployment
• 帮助用问题追踪器： https://github.com/octos-org/octos/issues

---

总结 – Octos 是一个真正的、生产级的开源平台，支持在本地或自托管环境中运行 AI 智能体，专注于多租户隔离、可扩展工具链以及与众多 LLM 提供商的深度集成。它文档完善、持续维护，并旨在成为 AI 驱动应用的「操作系统」。