stephenschoettler/hermes-lcm

해결하는 문제

hermes-lcm는 Hermes Agent용 손실 없는 컨텍스트 관리 플러그인입니다. 오래된 대화 내용이 요약되면서 원본 세부 정보가 모델의 활성 프롬프트에서 제거되는 '손실 있는' 컨텍스트 압축 문제를 해결합니다. 이로써 어떤 정보도 영구적으로 손실되지 않으며, 에이전트는 제한된 활성 컨텍스트 창을 유지하면서도 대화의 전체 원본 기록을 보존하여 정확한 복구가 가능합니다.

작동 방식

단순한 한 번의 압축이 아니라, 계층적인 메모리 접근 방식을 사용합니다:

1. SQLite 저장소: 모든 원본 메시지는 풀텍스트 검색(FTS) 메타데이터를 갖춘 로컬 SQLite 데이터베이스에 영구 저장됩니다.
2. 요약 DAG: 컨텍스트가 커질수록 오래된 메시지가 '깊이 인식형' 요약 노드로 압축됩니다. 이러한 요약은 추가로 방향성 비순환 그래프(DAG)로 요약되어 요약의 계층 구조를 형성합니다.
3. 제한된 활성 컨텍스트: 활성 프롬프트는 시스템 프롬프트, DAG에서 추출한 최고 가치의 요약, 최근 메시지의 보호된 '최신 꼬리'로 구성됩니다.
4. 복구 도구: lcm_grep, lcm_recall, lcm_expand 등의 도구를 제공하여, 세부 정보가 필요한 경우 정확한 원본 메시지나 특정 요약 노드를 검색, 확인, 검색할 수 있습니다.

대상 사용자

Hermes Agent를 사용하며, AI 에이전트가 '무한한 기억력'을 가져야 하는 사용자. 즉, 매우 긴 대화나 여러 세션에서 정확한 세부 정보를 기억할 수 있지만, LLM의 컨텍스트 창에 관련 없는 데이터가 넘쳐나지 않도록 해야 하는 사용자입니다.

주요 특징

• 손실 없는 아키텍처: 요약이 몇 번이 되었든 원본 메시지는 항상 SQLite에 보존됩니다.
• 계층적 요약: DAG를 사용해 요약을 정리하여, 에이전트가 고수준 개요에서 특정 세부 정보까지 탐색할 수 있도록 합니다.
• 풍부한 도구 세트: 검색, 복구, 확장, 메모리 상태 진단에 특화된 15개의 전용 도구를 포함합니다.
• 소스 인식 복구: 원본 메시지가 특정 요약에 기여한 경로를 유지하여 에이전트가 정확히 어떤 메시지가 기여했는지 알 수 있습니다.
• 고급 메모리 기능: 세분화된 검색(임베딩), 시간 기반 메모리(시간 기반 요약), 그리고 과도한 페이로드를 외부로 전달하여 프롬프트 과부하를 방지하는 옵션 기능을 지원합니다.