Hugging Face 에이전트 툴링에 대한 오픈 모델 벤치마킹

Hugging Face는 코딩 에이전트가 정답에 도달했는지 여부뿐만 아니라 그에 필요한 노력(토큰, 시간, 턴 수로 측정)을 측정하는 벤치마킹 하네스를 개발했습니다. transformers 라이브러리를 사례 연구로 사용하여, 에이전트를 위한 소프트웨어 최적화(예: CLI 추가 또는 선별된 문서 제공)가 대형 모델의 지연 시간을 크게 줄일 수 있지만, 작은 모델에서는 모호함과 실패를 초래할 수 있음을 보여줍니다.

최종 답변을 넘어선 에이전시 효율성 측정

전통적인 벤치마크는 종종 최종 출력에만 초점을 맞추어, 프로세스의 운영 비용과 신뢰성을 가릴 수 있습니다. Hugging Face는 동일한 결과에 도달하는 두 에이전트가 비용, 지연 시간, 토큰 사용량 측면에서 매우 다른 프로파일을 가질 수 있다고 주장합니다. 예를 들어, 한 에이전트는 감정 분류를 수행하기 위해 복잡한 40줄짜리 Python 스크립트를 작성할 수 있지만, 다른 에이전트는 단일 CLI 명령만 사용할 수 있습니다.

이러한 뉘앙스를 포착하기 위해, 벤치마킹 하네스는 에이전트를 세 가지 구별된 환경 접근 단계에서 평가합니다:

• Bare: 에이전트는 pip install transformers를 통해 라이브러리만 설치되어 있습니다.
• Clone: 에이전트는 작업 디렉터리에 라이브러리의 전체 소스 코드를 체크아웃했습니다.
• Skill: 에이전트는 선별된 CLI 문서와 작업별 예제가 컨텍스트에 로드된 패키지형 "Skill"을 제공받습니다.

모델 크기가 도구 채택에 미치는 영향

연구는 에이전트를 구동하는 오픈 모델의 크기와 능력에 따라 상이한 영향을 나타냅니다:

대형 오픈 모델

매우 높은 능력을 가진 모델의 경우, 작업 완료율이 100%에 가깝게 포화되므로 "match %"는 덜 유용한 지표가 됩니다. 대신, 요구되는 노력에 초점이 맞춰집니다. 연구에 따르면 전용 CLI와 Skill을 도입하면 대형 모델이 Python 스크립트 디버깅에서 간소화된 CLI 명령 사용으로 전환하면서 작업에 소요되는 중간 시간이 감소했습니다.

하지만 이 효율성은 토큰 비용을 수반합니다. clone 변형에서는 에이전트가 새로운 CLI 구현과 예제 스크립트를 읽어 인터페이스를 학습하는 경우가 많아 중간 입력 토큰이 약 4k에서 6.4k 토큰으로 증가합니다. 이 탐색 비용은 일반적으로 일회성 비용이며 실제 세션에서 여러 작업에 걸쳐 상쇄됩니다.

소형 오픈 모델

소형 모델의 경우, "match %"는 여전히 중요한 지표입니다. 연구 결과는 좋은 도구 인터페이스가 필수적이지만, 새로운 기능을 추가하면 역효과가 될 수 있음을 보여줍니다. 예를 들어, Qwen3-4B 모델은 CLI가 추가된 후 clone 단계에서 토큰 소비가 ~2.4k에서 ~23k로 크게 증가했는데, 이는 정확도 향상 없이 소스 코드를 대량으로 읽었기 때문입니다.

더 중요한 점은, 일부 소형 모델은 정확도가 급격히 떨어졌습니다. Qwen3-14B 모델의 감정 분류에 대한 매치율은 clone 변형에서 100%였지만 Skill 변형을 사용할 때 0%로 떨어졌습니다. 추적 결과, 모델이 Skill 문서를 직접 호출할 수 있는 도구(transformers(command="classify", ...))로 오해하고, bash 셸을 통해 실행되는 명령이 아니라는 점을 인식하지 못해 작업을 불가능하다고 선언했습니다.

기술 구현 및 "Markers"

원시 메트릭을 넘어 에이전트 행동을 분석하기 위해, 하네스는 "markers"—실행 중 특정 행동과 일치하는 명명된 패턴—을 활용합니다. transformers 연구에서는 두 가지 주요 마커가 사용되었습니다:

• cli: 에이전트가 transformers 명령줄 도구를 호출할 때 트리거됩니다.
• pipeline: 에이전트가 고수준 pipeline(...) Python API를 사용할 때 트리거됩니다.

데이터는 대형 모델이 Skill 단계에서 새로운 컨텍스트(CLI)를 활용할 가능성이 더 높으며 채택률이 55.3%인 반면, 소형 모델은 학습 데이터에서 기억한 API 패턴에 더 많이 의존한다는 것을 보여줍니다.

라이브러리 유지보수자를 위한 주요 시사점

소프트웨어 개발자를 위한 주요 결론은 에이전트용 API를 다양한 모델 크기에 걸쳐 평가해야 한다는 것입니다. 강력한 모델의 워크플로를 간소화하는 기능이 소형 모델에서는 모호성을 초래하거나 실패 모드를 유발할 수 있습니다. 이를 완화하기 위해 Hugging Face는 Upskill과 같은 도구를 사용할 것을 제안합니다. 이 도구는 강력한 모델을 사용해 소형 모델의 성능을 실질적으로 향상시킬 때만 Skill을 생성하고 검증합니다.

도구 및 가용성

벤치마킹 하네스는 agent-eval이라는 CLI로 구현되었습니다. 이는 프로파일 기반으로 설계되어 명령줄에서 작동할 수 있는 모든 라이브러리에 적용 가능하도록 설계되었습니다. 시스템은 동일한 하드웨어에서 병렬 실행을 위해 Hugging Face Jobs를 활용하고, 결과와 추적 데이터를 Hugging Face Buckets에 저장하여 Hub의 agent‑traces 뷰어를 통해 분석합니다.

SUMMARY: Hugging Face는 다양한 모델 크기와 라이브러리 버전이 소프트웨어 도구를 사용하는 코딩 에이전트의 효율성과 성공률에 어떻게 영향을 미치는지 평가하기 위한 새로운 벤치마킹 하네스를 소개합니다.

TITLE: Hugging Face 에이전트 툴링에 대한 오픈 모델 벤치마킹