Frugal Tokens: 코딩 에이전트를 위한 LLM 비용 및 토큰 사용량 분석

Frugal Tokens는 LLM 토큰 지출에 대한 세밀한 가시성을 제공합니다

Frugal Tokens는 개발자가 코딩 에이전트의 비용 및 토큰 사용 패턴을 탐색할 수 있도록 하는 전문 분석 도구입니다. 처리된 토큰, 캐시 재사용, 특정 세션 비용에 대한 상세한 내역을 제공함으로써, 이 도구는 사용자가 LLM 워크플로우의 비효율성을 식별하고 토큰 지출에 대한 투자 대비 수익(ROI)을 측정할 수 있도록 합니다.

비용 최적화를 위한 상세 세션 지표

Frugal Tokens는 사용자가 예산이 어디에 사용되고 있는지 이해할 수 있도록 세션당 여러 핵심 성과 지표(KPIs)를 추적합니다. 데모 데이터에 기반하여, 이 도구는 다음 지표를 모니터링합니다:

• Processed Tokens: 세션 동안 처리된 토큰의 총량으로, 수천 개(예: "Quiet Narwhal Pass"의 12.4K)에서 수백만 개(예: "Granite Egret Vale"의 7.8M)에 이를 수 있습니다.
• Cache Reuse: 비용에 큰 영향을 미치는 캐시에서 재사용된 토큰의 비율입니다. 데모 세션은 97.5%에 달하는 재사용률을 보여줍니다(예: "Dawn Marten Landing").
• Uncached Tokens: 처음부터 새로 처리해야 했던 토큰의 양으로, 비용 상승의 직접적인 원인이 됩니다.
• Reasoning Tokens: 최종 출력물과 대비하여 모델의 내부 추론에 사용된 토큰의 상세 내역입니다.
• Cache Misses: 이 도구는 "full misses"와 "partial misses"를 식별하여, 대화의 어느 단계에서 캐시 실패가 발생했는지 정확히 짚어냅니다.

개발자 워크플로우에 미치는 영향

이러한 지표를 분석하면 개발자는 빌드 파이프라인과 상호작용 패턴에서 숨겨진 병목 현상을 발견할 수 있습니다. 사용자들은 개발자가 세션에서 한 시간 이상 자리를 비울 때와 같이 비활성 기간 동안 캐시 미스가 얼마나 자주 발생하는지 식별하는 데 이 도구가 도움이 된다고 보고했습니다.

커뮤니티 인사이트 및 대안

Hacker News의 사용자들은 통제되지 않은 토큰 사용량으로 인해 어려움을 겪는 기업들이 독립적으로 검증된 데이터 포인트를 확보하는 것이 중요하다고 강조했습니다.

"이러한 종류의 독립적으로 검증된 데이터 포인트는 지난 한 해 동안 사람들이 토큰 사용량을 무분별하게 사용하도록 방치했다가, 이제 막 회복 중인 기업(및 개인!)이 토큰 지출에 대한 ROI를 측정하려고 노력할 때 매우 중요할 것입니다."

Frugal Tokens가 비용 및 토큰 탐색에 집중하는 반면, 일부 사용자들은 도구 호출(tool calls)과 로컬 대화 파일을 시각화해야 하는 사용자들을 위해 agentsview.io와 같은 보완적인 도구를 제안했습니다.

비교 세션 데이터

다음 Frugal Tokens 데모 데이터는 다양한 코딩 에이전트 작업에 걸쳐 비용과 토큰 사용량의 큰 편차를 보여줍니다:

Session Name	Turns	Total Processed	Cache Reuse %	Total Cost
Granite Egret Vale	18	7.8M	96.9%	$6.21
Dawn Marten Landing	11	6.7M	97.5%	$5.08
Silver Tapir Garden	21	6.1M	94.3%	$5.43
Starry Fawn Falls	7	1.1M	93.8%	$1.04
Quiet Narwhal Pass	1	12.4K	20.6%	$0.07