canwhite/Krebs

해결하는 문제

Krebs는 장기적인 상호작용과 복잡한 작업을 원래 목표를 잃지 않고 관리할 수 있도록 설계된 자체 호스팅 AI 게이트웨이입니다. LLM에서 발생하는 '컨텍스트 드리프트'와 토큰 한도 고갈 문제를 적극적인 컨텍스트 압축, 지속적 메모리, 자율적 하위 에이전트를 통해 해결합니다.

작동 방식

Krebs는 사용자와 LLM(DeepSeek 또는 Claude 등) 사이의 중간 계층으로 작동합니다. 일관성을 유지하기 위해 다층적 접근 방식을 사용합니다:

• 주목 관리: 토큰 사용량을 모니터링하고 대화가 길어질수록 요약, 정리, 압축 등의 다양한 압축 레이어를 트리거합니다.
• 메모리 및 RAG: 두 단계 메모리 시스템(요약을 MEMORY.md 파일에 통합)과 BM25 기반 RAG를 사용하여 과거 세션에서 관련 정보를 검색합니다.
• 목표 제약: 대화의 핵심 목표를 추출하고 하이브리드 스코어링을 통해 에이전트가 과제에서 벗어났는지 감지하여 자동으로 수정 메시지를 삽입합니다.
• 자기 검증: 응답 후 원래 작업과 자신의 출력을 비교하고 일치하지 않음을 감지하면 재시도합니다.
• 실행 환경: 파일 시스템 쓰기 작업을 안전하게 격리하기 위해 WASM 기반 사전을 제공하며, 읽기 전용 쉘 접근은 허용합니다.
• 하위 에이전트: 메인 에이전트는 특정 작업을 처리하기 위해 자율적인 하위 에이전트를 생성하고, 작업 큐를 관리하며 반복 작업을 스케줄링할 수 있습니다.

대상 사용자

복잡한 다단계 대화와 자율적 작업 실행을 높은 신뢰성과 최소한의 컨텍스트 손실로 수행하고자 하는 개발자 및 고급 사용자에게 적합합니다.

주요 특징

• 다층 컨텍스트 압축: 토큰 임계값 기반 자동 정리 및 요약.
• 목표 드리프트 탐지: 대화의 방향성 이탈을 능동적으로 모니터링하고 수정.
• 자율적 하위 에이전트: 병렬 작업 관리를 위한 에이전트 편대를 시작할 수 있음.
• WASM 사전: 파일 시스템 쓰기 작업을 안전하게 격리.
• 확장 가능한 도구: 사용자 정의 Lua 스크립트 및 기술 파일 지원.
• 세션 지속성: SQLite 및 파일 저장을 통해 전체 세션 기록 관리.