Anthropic Bloom: 전면 AI 모델의 행동 평가를 자동화하는 오픈소스 도구

Anthropic는 전면 AI 모델의 특정 행동 특성을 자동으로 평가할 수 있도록 설계된 오픈소스 에이전트 프레임워크인 Bloom을 공개했다. Bloom은 연구자들이 지정한 행동의 빈도와 심각도를 자동 생성된 시나리오를 통해 정량화할 수 있게 해주며, 수동 평가 파이프라인 설계의 필요성을 줄이고 평가 오염의 위험을 완화한다.

자동화된 행동 평가 파이프라인

Bloom은 연구자가 지정한 행동 설명과 시드 구성 정보를 네 단계의 자동화된 파이프라인을 통해 완전한 평가 세트로 변환한다:

이해: 에이전트가 행동 설명과 예시 대화를 분석하여 측정 대상과 그 이유에 대한 맥락을 설정한다.
창의적 아이디어 도출: 창의적 아이디어 에이전트가 다양한 평가 시나리오를 생성하며, 상황, 시뮬레이션된 사용자, 시스템 프롬프트, 상호작용 환경을 포함한다.
실행: 시나리오들이 병렬로 실행되며, 에이전트가 사용자와 도구의 반응을 시뮬레이션하여 테스트 대상 모델로부터 목표 행동을 유도한다.
판단: 판정 모델이 각 대화 기록에 대해 행동의 존재 여부를 점수화하고, 메타 판정 모델이 전체 세트 수준의 분석을 제공한다.

고정된 평가 세트와 달리 Bloom은 각 실행마다 다른 시나리오를 생성하므로, 모델이 제한된 프롬프트 세트로만 테스트되는 것을 방지한다. 재현성을 위해 "시드" 구성 파일을 사용하여 행동 설명과 파라미터를 정의한다.

검증 및 성능

Anthropic는 Bloom의 효과성을, 다양한 행동 성향을 가진 모델들을 구분할 수 있는 능력과 인간 판단과의 일치도를 측정하여 검증했다.

모델 구분 능력

Bloom은 특정한 이상한 행동을 의도적으로 보이도록 설계된 "모델 생물"(model organisms)에 대해 테스트되었다. 10개의 경우 중 9개에서 Bloom은 이러한 모델 생물과 베이스라인 생산 모델을 성공적으로 구분했다. 단 한 번의 실패 사례(자기 홍보)에서는 수동 검토 결과 베이스라인 모델도 유사한 빈도로 해당 행동을 보였음을 확인했다.

인간과의 상관관계

보정도를 측정하기 위해 Anthropic는 12개의 행동에 대해 40개의 대화 기록에 대한 인간 라벨링 점수와 11개의 다른 판정 모델의 점수를 비교했다. Claude Opus 4.1이 인간 판단과 가장 높은 상관관계를 보였다(Spearman 상관관계 0.86), 그 다음은 Claude Sonnet 4.5(0.75)였다. Opus 4.1은 점수 스펙트럼의 극단적인 부분에서 인간과 특히 높은 일치도를 보였으며, 이는 행동의 존재 여부를 판단하는 데 매우 중요하다.

실용적 응용 및 사례 연구

Bloom은 정렬과 관련된 행동을 스케일링 가능한 방식으로 측정할 수 있게 해준다. Anthropic는 16개의 전면 모델에서 네 가지 특정 행동에 대한 벤치마크 결과를 공개했다:

망상적 아첨
지시된 장기적 파괴
자기 생존
자기 선호 편향

사례 연구: 자기 선호 편향

Claude Sonnet 4.5 시스템 카드의 복제 연구에서 Bloom은 자기 선호 편향에 대해 동일한 모델 순위를 재현했다(즉, Sonnet 4.5가 가장 편향이 적음). 또한 Bloom은 Claude Sonnet 4.5에서 추론 노력이 증가할수록 자기 선호 편향이 감소함을 드러냈다. 이는 모델이 이해관계의 충돌을 점점 더 인식하고 자신의 옵션을 평가하는 것을 거부하기 때문이라고 분석된다.

통합 및 확장성

Bloom은 높은 구성 유연성과 기존 연구 도구와의 통합을 고려해 설계되었다. Weights & Biases와 통합하여 대규모 실험을 수행할 수 있으며, Inspect와 호환되는 형식으로 대화 기록을 내보낼 수 있다. 연구자는 각 단계에 사용할 모델, 상호작용 길이, 모달리티(예: 도구 사용), 현실성 또는 유도 난이도와 같은 2차 점수 기준 등을 사용자 정의할 수 있다.