chunxiaoxx/nautilus-compass
Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered criteria) — by Nautilus Platform
nautilus‑compass – AIエージェント向けオープンソースのメモリ&信頼性レイヤー
概要 – ローカルで動作するプラグイン型サービスで、大規模言語モデルエージェントに長期メモリストア、ドリフト検出ガード、マルチエージェントワークフロー向けの軽量ガバナンスシステムを提供します。Pythonパッケージ(nautilus‑compass)、Model‑Context‑Protocol(MCP)サーバー、および一連のコマンドラインツールとして提供されます。
重要性 –
- 最先端の検索 – BGE‑m3埋め込みモデルとハイブリッドBM25+dense‑RRF検索を使用。公開ベンチマークLongMemEval‑SではP@1 0.890、P@5 0.978、MRR 0.929を達成し、人気の
mem0ベースラインを10ポイント以上上回りながら、完全にローカルで約14倍安価に実行できます。 - ドリフト検出 – 各プロンプトは厳選された障害パターンの「アンカー」セットと比較されます。検出器は保持データでAUC 0.83を達成し、レイテンシは50ms未満、本番トラフィックの約0.5%でのみ発火します。
- クロスエージェント契約 – 複数のClaudeベースのエージェントがファイルを共有する場合、プラグインは暗黙のハンドオフ契約を推論し、その完了を追跡し、「偽の完了」やルールの逸脱を監査します。28時間のフィールドスタディがリポジトリに文書化されています。
- オープンで再現可能なエビデンス – すべてのベンチマーク実行、データ、スクリプトはリポジトリにあります(例:
scripts/reproduce_lmes_retrieval.sh)。著者は論文、Hugging Faceデータセット、ライブデモスペースも公開しています。
使用方法
- インストール –
pip install nautilus-compass(CLI、MCPサーバー、A2Aアダプターをインストール)。 - MCPクライアントに接続 – リポジトリには、Claude Desktop(またはCursor、Cline、Continue.dev、Zedなど)に3つのフックを追加する小さなインストーラーが用意されており、ユーザープロンプトが送信されるたびにシステムは以下を実行します:
- 最も関連性の高い過去のメモリチャンクを呼び出し、
- ドリフトチェックを実行し、
- プロファイルサマリーを追加します。
- デーモンを実行 – BGE‑m3埋め込みデーモンは起動ごとに1回起動されます(
daemon_start.sh)。デーモンはディレクトリを監視し(inotify)、新しいファイルをインデックス化し、高速な呼び出しクエリを提供します。 - オプションのクラウドゲートウェイ – マネージドサービスを好むチーム向けに、ホスト型マルチテナントMCPエンドポイント(
https://compass.nautilus.social/mcp/)が利用可能です。トークンはユーザーごとにスコープされ、すべてのトラフィックはmTLSで保護されています。
主要コマンド/ツール(MCP JSON‑RPC経由で公開):
| ツール | 機能 | 一般的なレイテンシ |
|---|---|---|
ingest_obs |
新しい観察を保存(ドリフト用に自動アンカー) | ~150 ms |
recall |
インデックス化されたすべてのテキストをセマンティック+キーワード検索 | ~200 ms |
session_search |
単一チャットセッション内の時間バケット検索 | ~80 ms |
drift_check |
障害アンカーに対してプロンプトをスコアリング | <50 ms |
profile |
エージェントの現在のワークロードとドリフト傾向を要約 | ~100 ms |
ベンチマーク概要
| ベンチマーク | スコア(compass) | 比較 |
|---|---|---|
| LongMemEval‑S(500問) | P@1 0.890、P@5 0.978、MRR 0.929 | mem0 0.774/0.916/0.834を上回る |
| LOCOMO‑10(1,986問) | P@1 0.644、P@5 0.890、MRR 0.740 | mem0より+5.2ポイント |
| EverMemBench‑Dynamic | 44.4% – 47.3% | 公開された4つのベースラインの中で最高 |
| ドリフト検出器AUC | 0.83(保持データ) | ドリフト検出を提供する唯一の公開メモリレイヤー |
| 500問評価あたりのコスト | ≈ $3.50 | GPT‑4o判定スタックより約14倍安価 |
AIスタックでの位置付け
- メモリレイヤー – LLMとユーザーの間に位置し、データをデバイス外に送信せずに長期的で検索可能なコンテキストを提供します。
- 信頼性ガード – ドリフト検出器はセーフティネットとして機能し、モデルが出力を生成する前に既知の障害パターンに似たプロンプトをフラグします。
- ガバナンス – 契約システムは、共有リソースで動作する複数のエージェントをチームが調整するのに役立ちます。
クイックスタート(Claude Desktopの例)
# Claudeのプラグインフォルダにクローン
git clone https://github.com/chunxiaoxx/nautilus-compass ~/.claude/plugins/nautilus-compass
bash ~/.claude/plugins/nautilus-compass/install.sh # フックとデーモンをインストール
bash ~/.claude/plugins/nautilus-compass/daemon_start.sh
その後、Claudeで/compass-recall <query>と入力すると、最も一致するメモリチャンクが返され、システムはすべてのプロンプトで自動的にドリフトチェックを実行します。
リソース
- PyPI –
nautilus-compass(v3.3.0) – CLI、サーバー、アダプター。 - 論文とエビデンス –
paper/BLACKBOX_VS_WHITEBOX.md、ベンチマークJSONファイル、完全な再現スクリプト。 - ライブデモ – Hugging Face Space: https://huggingface.co/spaces/chunxiaox/nautilus-compass
- 判定用モデル –
nautilus-compass/nacre-judge-v1(1.7 B LoRA)on Hugging Face。 - MCPレジストリエントリ –
io.github.chunxiaoxx/nautilus-compass。
上記の記述はすべてリポジトリのREADMEから直接引用したものであり、追加の機能は推測されていません。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト