chunxiaoxx/nautilus-compass
Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered criteria) — by Nautilus Platform
nautilus‑compass – 面向AI代理的开源记忆与可靠性层
是什么 – 一个本地运行的插件式服务,为大型语言模型代理提供长期记忆存储、漂移检测防护以及多代理工作流的轻量级治理系统。它以Python包(nautilus‑compass)、Model‑Context‑Protocol(MCP)服务器和一组命令行工具的形式提供。
为什么重要 –
- 最先进的检索 – 使用BGE‑m3嵌入模型和混合BM25+dense‑RRF搜索。在公开的LongMemEval‑S基准测试中,得分P@1 0.890、P@5 0.978、MRR 0.929,比流行的
mem0基线高出10个百分点以上,同时完全本地运行且成本约低14倍。 - 漂移检测 – 每个提示都与一组精选的故障模式“锚点”进行比较。检测器在保留数据上达到AUC 0.83,延迟低于50毫秒,并且仅在生产流量约0.5%的情况下触发。
- 跨代理契约 – 当多个基于Claude的代理共享文件时,插件会推断隐式交接契约,跟踪其完成情况,并审计“虚假完成”或规则漂移。仓库中记录了28小时的现场研究。
- 开放、可复现的证据 – 所有基准测试运行、数据和脚本都在仓库中(例如
scripts/reproduce_lmes_retrieval.sh)。作者还发布了论文、Hugging Face数据集和实时演示空间。
如何使用
- 安装 –
pip install nautilus-compass(安装CLI、MCP服务器和A2A适配器)。 - 接入MCP客户端 – 仓库提供了一个小型安装程序,可将三个钩子添加到Claude Desktop(或Cursor、Cline、Continue.dev、Zed等)中,以便在每次用户提交提示时系统:
- 调用最相关的过去记忆块,
- 运行漂移检查,
- 添加个人资料摘要。
- 运行守护进程 – BGE‑m3嵌入守护进程在每次启动时启动一次(
daemon_start.sh)。守护进程监视目录中的新文件(inotify),对其进行索引,并提供快速召回查询。 - 可选云网关 – 为偏好托管服务的团队提供托管多租户MCP端点(
https://compass.nautilus.social/mcp/)。令牌按用户范围限定,所有流量均受mTLS保护。
主要命令/工具(通过MCP JSON‑RPC公开):
| 工具 | 功能 | 典型延迟 |
|---|---|---|
ingest_obs |
存储新观察(自动锚定以检测漂移) | ~150毫秒 |
recall |
对所有索引文本进行语义+关键词搜索 | ~200毫秒 |
session_search |
在单个聊天会话内进行时间分桶搜索 | ~80毫秒 |
drift_check |
根据故障锚点对提示进行评分 | <50毫秒 |
profile |
总结代理的当前工作负载和漂移趋势 | ~100毫秒 |
基准测试一览
| 基准测试 | 得分(compass) | 比较 |
|---|---|---|
| LongMemEval‑S(500题) | P@1 0.890、P@5 0.978、MRR 0.929 | 优于mem0 0.774/0.916/0.834 |
| LOCOMO‑10(1,986题) | P@1 0.644、P@5 0.890、MRR 0.740 | 比mem0高5.2个百分点 |
| EverMemBench‑Dynamic | 44.4% – 47.3% | 在四个已发布基线中最高 |
| 漂移检测器AUC | 0.83(保留数据) | 唯一提供漂移检测的公开记忆层 |
| 每次500题评估成本 | ≈ $3.50 | 比GPT‑4o判定堆栈便宜约14倍 |
在AI堆栈中的位置
- 记忆层 – 位于LLM和用户之间,提供长期、可搜索的上下文,而无需将任何数据发送到设备外。
- 可靠性防护 – 漂移检测器充当安全网,在模型生成输出之前标记与已知故障模式相似的提示。
- 治理 – 契约系统帮助团队协调在共享资源上运行的多个代理。
快速入门(Claude Desktop示例)
# 克隆到Claude的插件文件夹
git clone https://github.com/chunxiaoxx/nautilus-compass ~/.claude/plugins/nautilus-compass
bash ~/.claude/plugins/nautilus-compass/install.sh # 安装钩子和守护进程
bash ~/.claude/plugins/nautilus-compass/daemon_start.sh
之后,在Claude中输入/compass-recall <query>将返回最匹配的记忆块,系统将自动对每个提示运行漂移检查。
资源
- PyPI –
nautilus-compass(v3.3.0) – CLI、服务器、适配器。 - 论文与证据 –
paper/BLACKBOX_VS_WHITEBOX.md、基准测试JSON文件和完整的可复现脚本。 - 实时演示 – Hugging Face Space: https://huggingface.co/spaces/chunxiaox/nautilus-compass
- 判定模型 –
nautilus-compass/nacre-judge-v1(1.7 B LoRA)on Hugging Face。 - MCP注册表条目 –
io.github.chunxiaoxx/nautilus-compass。
以上所有陈述均直接取自仓库的README;未推断任何额外功能。
相关
- 项目
- 项目
- 项目
- 项目
- 项目