에이전트 코딩 평가에서 인프라 노이즈 정량화

에이전트 코딩 벤치마크는 기본 인프라 구성에 의해 크게 영향을 받습니다. 즉, 리더보드 점수의 작은 차이는 실제 모델 성능 격차보다 하드웨어 차이를 반영할 수 있습니다. 이 연구는 리소스 여유 용량이 평가 결과를 극적으로 바꿀 수 있음을 보여주며, 모델 테스트에서 리소스 구성을 주요 실험 변수로 취급해야 함을 시사합니다.

런타임 환경이 에이전트 평가에 미치는 영향

에이전트 코딩 평가는 런타임 환경이 문제 해결 과정의 필수적인 부분이기 때문에 정적 벤치마크와 근본적으로 다릅니다. 이러한 테스트에서 모델은 전체 환경 내에서 코드를 작성하고, 테스트를 실행하고, 종속성을 설치하고, 여러 턴에 걸쳐 반복합니다. 따라서 에이전트에게 제공되는 리소스 예산과 시간 제한은 수동적인 제약이 아니라 성공에 영향을 미치는 능동적인 요소입니다.

Terminal-Bench 2.0을 사용한 내부 실험에서 가장 많은 리소스를 사용한 설정과 가장 적은 리소스를 사용한 설정 간의 성공률 차이는 6퍼센트 포인트(p < 0.01)로 측정되었습니다. 이 발견은 인프라 구성만으로도 상대적 모델 성능을 판단하는 데 사용되는 일반적인 차이를 초과하는 차이를 만들 수 있음을 강조합니다.

리소스 할당 및 성공률 추세

평가 스캐폴드의 효과를 정량화하기 위해 연구진은 Terminal-Bench 2.0을 작업별 사양의 엄격한 적용(1x)부터 완전히 제한되지 않은 리소스까지 여섯 가지의 서로 다른 리소스 구성에서 실행했습니다. 실험 결과 명확한 추세가 나타났습니다. 성공률은 리소스 여유 용량에 따라 단조적으로 증가했습니다.

인프라 신뢰성 vs. 성능 향상

  • 엄격한 적용(1x): 엄격한 적용 하에서 인프라 오류율은 높았으며, 모델의 능력과 무관한 포드 오류로 인해 작업의 5.8%가 실패했습니다. 1x에서 충돌한 작업은 종종 올바른 솔루션으로 가는 경로에 있지 않았습니다.
  • 중간 여유 용량(1x~3x): 리소스를 3x 여유 용량으로 늘리면 인프라 오류율이 크게 감소했습니다(5.8%에서 2.1%로, p < 0.001). 그러나 이 범위의 성공 점수는 노이즈 범위 내에서 변동했습니다(p=0.40).
  • 넉넉한 여유 용량(3x~무제한): 3x 지점을 넘어서면 추세가 바뀌었습니다. 성공률은 인프라 오류 감소율보다 더 빠르게 상승했습니다. 추가 리소스 덕분에 에이전트는 값비싼 하위 프로세스를 생성하거나 대규모 종속성을 가져오는 것과 같은 많은 할당을 필요로 하는 접근 방식을 활용할 수 있었습니다.
  • 총 향상: 무제한 리소스에서 1x 구성 대비 총 성공률 향상은 +6퍼센트 포인트(p < 0.01)였습니다.

리소스 제한이 평가 측정을 변경하는 방식

리소스 구성은 제공되는 여유 용량 수준에 따라 평가에 두 가지 방식으로 영향을 미칩니다.

체제 1: 신뢰성 수정(최대 3x)

Terminal-Bench 사양의 약 3배까지는 추가 리소스가 주로 인프라 신뢰성 문제, 특히 일시적인 리소스 급증을 해결합니다. 벤치마크 유지 관리자가 사용하는 샌드박싱 제공자는 평가를 본질적으로 더 쉽게 만들지 않으면서 이러한 안정성을 암묵적으로 처리합니다.

체제 2: 문제 공간 변경(3x 이상)

3x 임계값 이상에서는 추가 리소스가 에이전트가 이전에는 해결할 수 없었던 문제를 해결하는 데 적극적으로 도움을 줍니다. 이는 리소스 제한이 평가가 측정하는 대상을 변경할 수 있음을 보여줍니다. 즉, 빡빡한 제한은 의도치 않게 고효율 전략에 보상을 주는 반면, 넉넉한 제한은 사용 가능한 모든 리소스를 효과적으로 활용할 수 있는 에이전트에게 보상을 줍니다.

예를 들어, bn-fit-modify 작업에서 넉넉한 제한은 모델이 표준 Python 데이터 과학 스택(pandas, networkx, scikit-learn)을 설치할 수 있게 합니다. 빡빡한 제한 하에서는 설치 중에 포드의 메모리가 부족해져 에이전트가 솔루션 코드를 작성조차 할 수 없습니다.

벤치마크 전반에 걸친 노이즈 일반화

이러한 리소스 유발 변동 패턴은 다양한 Anthropic 모델에서 재현되었습니다. 또한 SWE-bench라는 다른 코딩 평가에서도 227개 문제에 걸쳐 총 사용 가능한 RAM을 기준선의 최대 5배까지 변경하여 동일한 효과를 테스트했습니다. 동일한 효과가 나타났지만 그 정도는 더 작았으며, 5x RAM에서 점수는 1x보다 단 1.54퍼센트 포인트 높았습니다. SWE-bench 작업은 리소스 집약도가 낮기 때문에 이러한 더 작은 효과는 예상된 것입니다.

리소스 할당 외에도 다른 변수들이 평가 노이즈에 기여합니다. 에이전트 평가는 종단 간 시스템 테스트이므로 시간 제한, 클러스터 상태, 동시성 수준, 트래픽 패턴에 따라 변동될 수 있는 API 지연 시간과 같은 혼란 변수에 취약합니다.

재현 가능한 평가를 위한 권장 사항

인프라 노이즈를 완화하고 재현 가능한 결과를 보장하려면 다음 방법을 권장합니다.

  • 이상적인 시나리오: 가장 엄격한 접근 방식은 스캐폴드와 추론 스택 모두에 대해 동일한 하드웨어 조건에서 평가를 실행하는 것입니다.
  • 실용적인 구현: 컨테이너 런타임이 리소스를 적용하는 방식(보장된 할당 및 하드 킬 임계값을 통해)을 고려할 때, 평가는 작업별로 단일 고정 값이 아닌 두 매개변수를 모두 지정해야 합니다. 보장된 할당을 킬 임계값과 동일하게 설정하면 일시적인 메모리 급증에 대한 여유가 전혀 없습니다.
  • 보정 원칙: 보장된 할당과 하드 킬 임계값 사이의 대역은 바닥과 상한의 점수가 서로의 노이즈 범위 내에 들도록 보정되어야 합니다. Terminal-Bench 2.0의 경우 3x 상한선은 인프라 오류율을 약 3분의 2(5.8%에서 2.1%, p < 0.001)로 줄이면서 점수 상승은 노이즈 범위 내에서 완만하게 유지했습니다(p = 0.40).

리소스 제한이 평가 측정을 바꾸는 방식

리소스 구성은 제공되는 여유 용량 수준에 따라 평가에 두 가지 방식으로 영향을 미칩니다.

영역 1: 신뢰성 수정(최대 3x)

Terminal-Bench 사양의 약 3배까지는 추가 리소스가 주로 인프라 신뢰성 문제, 특히 일시적인 리소스 급증을 해결합니다. 벤치마크 유지 관리자가 사용하는 샌드박싱 제공자는 평가를 본질적으로 더 쉽게 만들지 않으면서 이러한 안정성을 암묵적으로 처리합니다.

영역 2: 문제 공간 변경(3x 이상)

3x 임계값 이상에서는 추가 리소스가 에이전트가 이전에 해결할 수 없었던 문제를 해결하는 데 적극적으로 도움을 줍니다. 이는 리소스 제한이 평가가 측정하는 대상을 변경할 수 있음을 보여줍니다. 엄격한 제한은 실수로 고효율 전략에 보상을 주는 반면, 넉넉한 제한은 사용 가능한 모든 리소스를 효과적으로 활용할 수 있는 에이전트에게 보상을 줍니다.

예를 들어, bn-fit-modify 작업에서 넉넉한 제한은 모델이 표준 Python 데이터 과학 스택(pandas, networkx, scikit-learn)을 설치할 수 있게 합니다. 엄격한 제한 하에서는 설치 중에 포드의 메모리가 부족해져 에이전트가 솔루션 코드를 작성조차 할 수 없습니다.

벤치마크 전반에 걸친 노이즈 일반화

이러한 리소스 유발 변동 패턴은 다양한 Anthropic 모델에서 재현되었습니다. 또한 이 효과는 227개의 문제에 걸쳐 총 사용 가능한 RAM을 기준선의 최대 5배까지 변화시켜 다른 코딩 평가인 SWE-bench에서도 테스트되었습니다. 동일한 효과가 나타났지만, 5x RAM에서 점수가 1x보다 1.54퍼센트 포인트 높았을 뿐 그 정도는 더 작았습니다. SWE-bench 작업은 리소스 집약도가 낮기 때문에 이러한 더 작은 효과는 예상된 것입니다.

리소스 할당 외에도 다른 변수들이 평가 노이즈에 기여합니다. 에이전트 평가는 종단 간 시스템 테스트이므로 시간 제한, 클러스터 상태, 동시성 수준, API 지연 시간과 같은 혼란 변수에 취약하며, 이러한 변수는 트래픽 패턴에 따라 변동될 수 있습니다.

재현 가능한 평가를 위한 권장 사항

인프라 노이즈를 완화하고 재현 가능한 결과를 보장하려면 다음 방법을 권장합니다.

  • 이상적인 시나리오: 가장 엄격한 접근 방식은 스캐폴드와 추론 스택 모두에 대해 동일한 하드웨어 조건에서 평가를 실행하는 것입니다.
  • 실용적인 구현: 컨테이너 런타임이 리소스를 강제하는 방식(보장된 할당 및 하드 킬 임계값을 통해)을 고려할 때, 평가는 작업별로 단일 고정 값이 아닌 두 매개변수를 모두 지정해야 합니다. 보장된 할당을 킬 임계값과 동일하게 설정하면 일시적인 메모리 급증에 대한 여유가 전혀 없습니다.
  • 보정 원칙: 보장된 할당과 하드 킬 임계값 사이의 대역은 바닥과 천장에서의 점수가 서로의 노이즈 범위 내에 있도록 보정되어야 합니다. Terminal-Bench 2.0의 경우 3x 천장은 인프라 오류율을 약 3분의 2(5.8%에서 2.1%, p < 0.001)로 줄이면서 점수 상승은 노이즈 범위 내에서 작게 유지했습니다(p = 0.40).

리소스 제한이 평가 측정을 바꾸는 방식

리소스 구성은 제공되는 여유 용량 수준에 따라 평가에 두 가지 방식으로 영향을 미칩니다.

영역 1: 신뢰성 수정(최대 3x)

Terminal-Bench 사양의 약 3배까지는 추가 리소스가 주로 인프라 신뢰성 문제, 특히 일시적인 리소스 급증을 해결합니다. 벤치마크 유지 관리자가 사용하는 샌드박싱 제공자는 평가를 본질적으로 더 쉽게 만들지 않으면서 이러한 안정성을 암묵적으로 처리합니다.

영역 2: 문제 공간 변경(3x 이상)

3x 임계값 이상에서는 추가 리소스가 에이전트가 이전에 해결할 수 없었던 문제를 해결하는 데 적극적으로 도움을 줍니다. 이는 리소스 제한이 평가가 측정하는 대상을 변경할 수 있음을 보여줍니다. 엄격한 제한은 실수로 고효율 전략에 보상을 주는 반면, 넉넉한 제한은 사용 가능한 모든 리소스를 효과적으로 활용할 수 있는 에이전트에게 보상을 줍니다.

예를 들어, bn-fit-modify 작업에서 넉넉한 제한은 모델이 표준 Python 데이터 과학 스택(pandas, networkx, scikit-learn)을 설치할 수 있게 합니다. 엄격한 제한 하에서는 설치 중에 포드의 메모리가 부족해져 에이전트가 솔루션 코드를 작성조차 할 수 없습니다.

벤치마크 전반에 걸친 노이즈 일반화

이러한 리소스 유발 변동 패턴은 다양한 Anthropic 모델에서 재현되었습니다. 또한 이 효과는 227개의 문제에 걸쳐 총 사용 가능한 RAM을 기준선의 최대 5배까지 변화시켜 다른 코딩 평가인 SWE-bench에서도 테스트되었습니다. 동일한 효과가 나타났지만 그 정도는 더 작았으며, 5x RAM에서 점수는 1x보다 단 1.54퍼센트 포인트 높았습니다. SWE-bench 작업은 리소스 집약도가 낮기 때문에 이러한 더 작은 효과는 예상된 것입니다.

리소스 할당 외에도 다른 변수들이 평가 노이즈에 기여합니다. 에이전트 평가는 종단 간 시스템 테스트이므로 시간 제한, 클러스터 상태, 동시성 수준, API 지연 시간 등 트래픽 패턴에 따라 변동될 수 있는 혼란 변수에 취약합니다.

재현 가능한 평가를 위한 권장 사항

인프라 노이즈를 완화하고 재현 가능한 결과를 보장하려면 다음 방법을 권장합니다:

  • 이상적인 시나리오: 가장 엄격한 접근 방식은 스캐폴드와 추론 스택 모두에 대해 동일한 하드웨어 조건에서 평가를 실행하는 것입니다.
  • 실용적인 구현: 컨테이너 런타임이 리소스를 강제하는 방식(보장된 할당 및 하드 킬 임계값을 통해)을 고려할 때, 평가는 작업별로 단일 고정 값이 아닌 두 매개변수를 모두 지정해야 합니다. 보장된 할당을 킬 임계값과 동일하게 설정하면 일시적인 메모리 급증에 대한 여유가 전혀 없습니다.
  • 보정 원칙: 보장된 할당과 하드 킬 임계값 사이의 대역은 바닥과 천장의 점수가 서로의 노이즈 범위 내에 들도록 보정되어야 합니다. Terminal-Bench 2.0의 경우 3x 천장은 인프라 오류율을 약 3분의 2(5.8%에서 2.1%, p < 0.001)로 줄이면서 점수 상승은 노이즈 범위 내에서 modest하게 유지했습니다(p = 0.40).

리소스 제한이 평가 측정을 바꾸는 방식

리소스 구성은 제공되는 여유 용량 수준에 따라 두 가지 다른 방식으로 평가에 영향을 미칩니다.

영역 1: 신뢰성 수정(최대 3x)

Terminal-Bench 사양의 약 3배까지는 추가 리소스가 주로 인프라 신뢰성 문제, 특히 일시적인 리소스 급증을 해결합니다. 벤치마크 유지 관리자가 사용하는 샌드박싱 제공자는 평가를 본질적으로 더 쉽게 만들지 않으면서 이러한 안정성을 암묵적으로 처리합니다.

영역 2: 문제 공간 변경(3x 이상)

3x 임계값 이상에서는 추가 리소스가 에이전트가 이전에 해결할 수 없었던 문제를 해결하는 데 적극적으로 도움을 줍니다. 이는 리소스 제한이 평가가 측정하는 대상을 변경할 수 있음을 보여줍니다. 엄격한 제한은 실수로 고효율 전략에 보상을 주는 반면, 넉넉한 제한은 사용 가능한 모든 리소스를 효과적으로 활용할 수 있는 에이전트에게 보상을 줍니다.

예를 들어, bn-fit-modify 작업에서 넉넉한 제한은 모델이 표준 Python 데이터 과학 스택(pandas, networkx, scikit-learn)을 설치할 수 있게 합니다. 엄격한 제한 하에서는 설치 중에 포드 메모리가 부족해져 에이전트가 솔루션 코드를 작성조차 할 수 없습니다.

벤치마크 전반에 걸친 노이즈 일반화

이러한 리소스 유발 변동 패턴은 다양한 Anthropic 모델에서 재현되었습니다. 이 효과는 227개의 문제에 걸쳐 총 사용 가능한 RAM을 기준선의 최대 5배까지 변화시켜 다른 코딩 평가인 SWE-bench에서도 테스트되었습니다. 동일한 효과가 나타났지만 그 정도는 더 작았으며, 5x RAM에서 점수가 1x보다 1.54퍼센트 포인트만 높았습니다. SWE-bench 작업은 리소스 집약도가 낮기 때문에 이러한 더 작은 효과는 예상된 것입니다.

리소스 할당 외에도 다른 변수들이 평가 노이즈에 기여합니다. 에이전트 평가는 종단 간 시스템 테스트이므로 시간 제한, 클러스터 상태, 동시성 수준, 트래픽 패턴에 따라 변동될 수 있는 API 지연 시간과 같은 혼란 변수에 취약합니다.

재현 가능한 평가를 위한 권장 사항

인프라 노이즈를 완화하고 재현 가능한 결과를 보장하려면 다음 방법을 권장합니다:

  • 이상적인 시나리오: 가장 엄격한 접근 방식은 스캐폴드와 추론 스택 모두에 대해 동일한 하드웨어 조건에서 평가를 실행하는 것입니다.
  • 실용적인 구현: 컨테이너 런타임이 리소스를 적용하는 방식(보장된 할당 및 하드 킬 임계값을 통해)을 고려할 때, 평가는 작업별로 단일 고정 값이 아닌 두 매개변수를 모두 지정해야 합니다. 보장된 할당을 킬 임계값과 동일하게 설정하면 일시적인 메모리 급증에 대한 여유가 전혀 없습니다.
  • 보정 원칙: 보장된 할당과 하드 킬 임계값 사이의 대역은 바닥과 상한의 점수가 서로의 노이즈 범위 내에 들어오도록 보정되어야 합니다. Terminal-Bench 2.0의 경우 3x 상한은 인프라 오류율을 약 3분의 2(5.8%에서 2.1%, p < 0.001)로 줄이면서 점수 상승은 노이즈 범위 내에서 완만하게 유지했습니다(p = 0.40).

결론: 리더보드 차이 해석

벤치마크 점수는 점점 더 중요한 의사 결정에 사용되고 있지만, 이러한 수치에 대한 의존은 인프라 변동성에 대한 이해로 완화되어야 합니다. 표준화된 설정 구성 없이는 진정한 성능 차이와 인프라 특이성을 구별하기 어렵습니다.

Anthropic은 에이전트 평가를 위한 리소스 구성을 일급 실험 변수로 취급할 것을 권장합니다. 리소스 방법론이 표준화될 때까지 3퍼센트 포인트 미만의 리더보드 차이는 문서화된 인프라 혼란 요인이 기존 통계적 불확실성 위에 쌓이므로 회의적으로 봐야 합니다.

SUMMARY: Anthropic은 리소스 할당과 같은 인프라 구성이 에이전트 코딩 벤치마크 점수에 상당한 노이즈를 유발하여 작은 리더보드 차이를 신뢰할 수 없게 만들 수 있음을 발견했습니다.

TITLE: 에이전트 코딩 평가에서 인프라 노이즈 정량화

Sources