headroom: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

Headroom은 LLM으로 전송하고 LLM으로부터 받는 토큰 수를 줄이기 위해 설계된 컨텍스트 압축 레이어입니다. 도구 출력, 로그, RAG 청크, 파일 및 대화 기록을 압축하여 AI 에이전트의 높은 비용과 토큰 제한 문제를 해결하며, 정확도를 희생하지 않으면서도 종종 60-95%의 토큰 사용량을 줄여줍니다.

작동 방식

Headroom은 프롬프트가 LLM 제공업체에 도달하기 전에 가로채는 로컬 우선(local-first) 라이브러리, 프록시 또는 MCP 서버로 작동합니다. ContentRouter를 사용하여 콘텐츠 유형을 감지하고 특정 압축 알고리즘을 적용합니다:

• SmartCrusher: JSON 데이터용.
• CodeCompressor: 여러 프로그래밍 언어에 대한 AST 인식 압축.
• Kompress-base: 산문/텍스트를 위한 특화된 HuggingFace 모델.
• CacheAligner: 제공업체의 KV 캐시 적중률을 높이기 위해 접두사(prefix)를 안정화함.

또한, 원본을 로컬에 캐싱하여 LLM이 도구 호출을 통해 필요할 때 이를 검색할 수 있도록 하는 CCR (Reversible Compression) 기능을 갖추고 있습니다. 또한, 일상적인 단계에서는 모델의 "thinking effort"를 조정하고 장황함을 제어하여 출력 토큰을 줄일 수 있습니다.

대상 사용자

• 비용과 지연 시간을 낮추고 싶은 AI 코딩 에이전트(Claude Code, Cursor, Aider 등) 사용자 개발자.
• 서로 다른 모델 간에 공유되고 중복이 제거된 메모리가 필요한 멀티 에이전트 워크플로우를 구축하는 팀.
• SDK 또는 드롭인 프록시를 통해 Python 또는 TypeScript 스택에 토큰 압축을 통합하고자 하는 앱 개발자.

주요 특징

• 다양한 배포 모드: 라이브러리, 코드 없는 프록시 또는 MCP 서버로 사용 가능.
• 에이전트 래핑(Agent Wrapping): Claude, Aider, OpenHands와 같은 인기 에이전트를 위한 원-커맨드 래핑 지원.
• 가역적 압축(Reversible Compression): 필요할 때 압축되지 않은 원본 데이터를 검색할 수 있는 능력.
• 교차 에이전트 메모리(Cross-Agent Memory): 서로 다른 LLM 제공업체 간의 공유 컨텍스트 저장소.
• 출력 셰이핑(Output Shaping): 서론(preambles)과 불필요한 코드를 다듬어 모델 응답의 낭비를 줄임.