juyterman1000/entroly

Compress tool outputs, logs, files, conversations, and RAG context before they reach the model. On measured workloads, Entroly reduces unnecessary tokens by up to 90% while preserving answer-critical evidence through budget-aware selection, content-addressed recovery, and auditable Context Receipt. Works with Claude, Chatgpt/Codex,Openclaw.

解決的問題

Entroly 是一個專為管理發送給 AI Agent 的資訊而設計的「Context OS」,旨在防止由於上下文窗口溢出導致 Agent 崩潰或成本過高。它解決了「失控會話(runaway sessions)」問題(即自主循環不斷追加日誌直到提供商拒絕請求),並確保在為了節省 Token 而壓縮上下文時,最重要的證據能夠被保留並保持可恢復狀態。

工作原理

Entroly 作為位於 AI Agent 和 LLM 提供商之間的本地可觀測性和決策層。它結合使用 BM25、熵評分(entropy scoring)、SimHash 去重和依賴圖,在特定的 Token 預算下對價值最高的證據進行排序和選擇。

核心機制包括:

  • 可恢復的壓縮 (Recoverable Compression):透過內容定址句柄在本地保留被省略文本的原始版本,允許 Agent 在需要時檢索精確的數據塊。
  • 代理衛士 (Proxy Guard):當用作代理時,它會監控傳出請求,並在「即時區域(live zone)」中壓縮重複的工具輸出,同時保留結構化元數據和錯誤。
  • WITNESS:一個本地驗證系統,無需額外的模型呼叫即可根據提供的證據檢查模型回答。
  • 穩定前綴 (Stable Prefixing):它維護穩定的系統和歷史位元組,以保護原生提供商的快取邊界,減少冗餘處理。

適用對象

使用 Claude Code、Cursor、Aider 或自定義 MCP 用戶端等工具的 AI Agent 開發者和企業團隊,他們需要降低 API 成本、防止會話崩潰,並保持模型實際閱讀內容的稽核軌跡。

亮點

  • 本地優先架構:使用 Python(可選 Rust 加速)或 Node/WASM 在本地執行。
  • 全面的工具鏈:提供 CLI、SDK、MCP 伺服器和 Proxy,以便靈活整合。
  • 證據收據 (Evidence Receipts):生成關於包含內容、省略內容以及每個選擇相關的潛在風險的詳細報告。
  • 多提供商支援:相容 OpenAI、Anthropic、Gemini 以及 Ollama/LM Studio 等本地提供商。