vincentkoc/tokenjuice

해결하는 문제

Tokenjuice는 AI 에이전트 워크플로우에서 "텍스트의 벽" 문제를 해결합니다. 에이전트가 타ーミ널 명령어(예: git status 또는 docker build)를 실행할 때, 그 결과 출력은 종종 노이즈가 많고 지나치게 길어져 컨텍스트 창 토큰을 낭비하고 LLM을 혼란스럽게 할 수 있습니다. Tokenjuice는 명령어의 실제 동작을 변경하지 않고, 이 출력을 더 작고 의미 있는 데이터로 압축합니다.

작동 방식

결정론적 출력 압축기로 작동합니다. 명령어 실행 후 출력을 관찰하고, 규칙 기반 리듀서를 적용하여 데이터 크기를 줄입니다. 이러한 규칙은 확률 기반 LLM 요약에 의존하는 것이 아니라, 검사 가능한 JSON 형식으로 저장됩니다. 사용자는 명시적으로 --raw 또는 --full 플래그를 사용하거나, 옵트인 아티팩트 저장을 통해 원본 전체 출력에 접근할 수 있습니다.

대상 사용자

Claude Code, Cursor, Aider, OpenHands와 같은 타ーミ널 중심의 AI 에이전트 및 하드웨어를 구축하거나 사용하는 개발자들로, 명령어 트랜스크립션을 정리함으로써 토큰 사용량을 최적화하고 에이전트의 신뢰성을 높이고자 하는 분들입니다.

주요 특징

• 결정론적 압축: LLM의 "분위기"에 의존하지 않고 규칙 기반 리듀서를 사용해 일관된 출력을 보장합니다.
• 광범위한 통합 지원: 다양한 AI 코딩 에이전트 및 IDE에 대해 단일 명령어 설치를 제공합니다.
• 컨텍스트 효율성: 트랜스크립션 낭비를 최소화하고, 무의미한 재실행의 필요성을 줄입니다.
• 은밀한 작동: 쉘 경험을 표준 상태로 유지하면서 호스트 통합을 위한 얇은 래퍼를 제공합니다.