ranxianglei/billion-context

해결하는 문제

billion-context는 장기적인 AI 코딩 세션이 모델의 컨텍스트 창을 초과하지 않도록 방지하는 컨텍스트 압축 프록시입니다. 토큰 사용량을 줄이고(최대 5배 감소), 소비된 대화 기록을 계층화된 고충실도 요약으로 압축하여 세션 품질 저하나 중단을 방지합니다.

작동 방식

이 도구는 AI 에이전트(Claude Code, Aider, Cursor 등)와 모델 API(Anthropic, OpenAI 등) 사이의 프록시 역할을 합니다. 요청과 응답을 파싱하고 acp-kernel 압축 로직을 적용합니다.

단순히 잘라내는 대신, 모델이 스스로 호출할 수 있는 4가지 특정 컨텍스트 관리 도구를 대화에 주입합니다:

• compress: 메시지 범위를 상세 요약으로 접습니다.
• decompress: 정확한 세부 정보가 필요할 때 압축된 범위를 복원합니다.
• search_context: 요약 및 표시된 메시지 전체에서 키워드 검색을 수행합니다.
• acp_status: 컨텍스트 사용량 및 압축 가능한 범위에 대한 개요를 제공합니다.

대상 사용자

대화 기록이 빠르게 컨텍스트 창을 소진하여 비용 증가와 모델 일관성 저하를 초래하는 장기 프로젝트에서 AI 코딩 에이전트를 사용하는 개발자.

주요 특징

• 증분 및 가역적: 요약은 작은 범위로 작성되며 필요에 따라 압축을 풀 수 있습니다.
• Prefix-Cache 친화적: 성능 유지를 위해 캐시 접두사를 그대로 유지하도록 설계되었습니다.
• 광범위한 호환성: 네이티브 플러그인, 런처 또는 간단한 URL 재작성을 통해 다양한 클라이언트를 지원합니다.
• 모델 주도형: 고정된 제한에 의존하는 대신, 언제 무엇을 압축할지 모델이 직접 결정합니다.