chunxiaoxx/nautilus-compass

Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered criteria) — by Nautilus Platform

nautilus‑compass – 面向AI代理的开源记忆与可靠性层

是什么 – 一个本地运行的插件式服务,为大型语言模型代理提供长期记忆存储、漂移检测防护以及多代理工作流的轻量级治理系统。它以Python包(nautilus‑compass)、Model‑Context‑Protocol(MCP)服务器和一组命令行工具的形式提供。

为什么重要 –

  • 最先进的检索 – 使用BGE‑m3嵌入模型和混合BM25+dense‑RRF搜索。在公开的LongMemEval‑S基准测试中,得分P@1 0.890、P@5 0.978、MRR 0.929,比流行的mem0基线高出10个百分点以上,同时完全本地运行且成本约低14倍。
  • 漂移检测 – 每个提示都与一组精选的故障模式“锚点”进行比较。检测器在保留数据上达到AUC 0.83,延迟低于50毫秒,并且仅在生产流量约0.5%的情况下触发。
  • 跨代理契约 – 当多个基于Claude的代理共享文件时,插件会推断隐式交接契约,跟踪其完成情况,并审计“虚假完成”或规则漂移。仓库中记录了28小时的现场研究。
  • 开放、可复现的证据 – 所有基准测试运行、数据和脚本都在仓库中(例如scripts/reproduce_lmes_retrieval.sh)。作者还发布了论文、Hugging Face数据集和实时演示空间。

如何使用

  1. 安装 – pip install nautilus-compass(安装CLI、MCP服务器和A2A适配器)。
  2. 接入MCP客户端 – 仓库提供了一个小型安装程序,可将三个钩子添加到Claude Desktop(或Cursor、Cline、Continue.dev、Zed等)中,以便在每次用户提交提示时系统:
    • 调用最相关的过去记忆块,
    • 运行漂移检查,
    • 添加个人资料摘要。
  3. 运行守护进程 – BGE‑m3嵌入守护进程在每次启动时启动一次(daemon_start.sh)。守护进程监视目录中的新文件(inotify),对其进行索引,并提供快速召回查询。
  4. 可选云网关 – 为偏好托管服务的团队提供托管多租户MCP端点(https://compass.nautilus.social/mcp/)。令牌按用户范围限定,所有流量均受mTLS保护。

主要命令/工具(通过MCP JSON‑RPC公开):

工具 功能 典型延迟
ingest_obs 存储新观察(自动锚定以检测漂移) ~150毫秒
recall 对所有索引文本进行语义+关键词搜索 ~200毫秒
session_search 在单个聊天会话内进行时间分桶搜索 ~80毫秒
drift_check 根据故障锚点对提示进行评分 <50毫秒
profile 总结代理的当前工作负载和漂移趋势 ~100毫秒

基准测试一览

基准测试 得分(compass) 比较
LongMemEval‑S(500题) P@1 0.890、P@5 0.978、MRR 0.929 优于mem0 0.774/0.916/0.834
LOCOMO‑10(1,986题) P@1 0.644、P@5 0.890、MRR 0.740 比mem0高5.2个百分点
EverMemBench‑Dynamic 44.4% – 47.3% 在四个已发布基线中最高
漂移检测器AUC 0.83(保留数据) 唯一提供漂移检测的公开记忆层
每次500题评估成本 ≈ $3.50 比GPT‑4o判定堆栈便宜约14倍

在AI堆栈中的位置

  • 记忆层 – 位于LLM和用户之间,提供长期、可搜索的上下文,而无需将任何数据发送到设备外。
  • 可靠性防护 – 漂移检测器充当安全网,在模型生成输出之前标记与已知故障模式相似的提示。
  • 治理 – 契约系统帮助团队协调在共享资源上运行的多个代理。

快速入门(Claude Desktop示例)

# 克隆到Claude的插件文件夹
 git clone https://github.com/chunxiaoxx/nautilus-compass ~/.claude/plugins/nautilus-compass
bash ~/.claude/plugins/nautilus-compass/install.sh   # 安装钩子和守护进程
bash ~/.claude/plugins/nautilus-compass/daemon_start.sh

之后,在Claude中输入/compass-recall <query>将返回最匹配的记忆块,系统将自动对每个提示运行漂移检查。

资源

  • PyPI – nautilus-compass(v3.3.0) – CLI、服务器、适配器。
  • 论文与证据 – paper/BLACKBOX_VS_WHITEBOX.md、基准测试JSON文件和完整的可复现脚本。
  • 实时演示 – Hugging Face Space: https://huggingface.co/spaces/chunxiaox/nautilus-compass
  • 判定模型 – nautilus-compass/nacre-judge-v1(1.7 B LoRA)on Hugging Face。
  • MCP注册表条目 – io.github.chunxiaoxx/nautilus-compass。

以上所有陈述均直接取自仓库的README;未推断任何额外功能。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目