FairStress: Ai2의 LLM 의사결정에서 인구통계학적 공정성을 측정하는 벤치마크

Ai2(Allen Institute for AI)는 LLM 의사결정에서 모델이 내리는 최종 선택 너머의 인구통계학적 공정성을 측정하는 벤치마크인 FairStress를 출시했으며, 동일한 설득적 논증이 논증이 선호하는 인구통계학적 집단에 따라 모델을 더 쉽거나 덜 쉽게动摇시킬 수 있음을 보고했다. Olmo, Llama, Qwen, Gemma, Claude 및 GPT 제품군을 포함한 오픈 가중치 및 프론티어 모델을 테스트하면서, Ai2는 그 외에는 동일한 두 시나리오에서 동일한 답변에 도달하더라도 해당 답변의 안정성, 설명 방식, 모델 내부 표현에서 의미 있는 차이를 숨길 수 있음을 발견했다. FairStress는 다운로드할 수 있으며, Ai2의 오픈 모델 평가 워크벤치인 Olmo-eval에 통합되고 있다.

FairStress는 2026년 10월 20일 Hugging Face 블로그에 기술 보고서, Hugging Face 데이터세트, GitHub 코드와 함께 게시되었다.

FairStress가 출력 전용 공정성 테스트가 놓치는 부분을 측정하는 이유

표준 인구통계학적 공정성 벤치마크는 인구통계학적 정체성을 교체한 후 그 외에는 동일한 시나리오에서 모델이 동일한 후보를 선택하는지 여부를 테스트한다. FairStress는 이러한 테스트만으로는 충분하지 않다는 전제를 기반으로 구축되었다.

이 벤치마크의 동기 부여 예시: 한 구직 후보가 명백히 더 강력한 경험과 자격을 갖추고 있고, 모델이 한 버전에서는 후보가 흑인이고 다른 버전에서는 백인인 경우에도 해당 후보를 선택한다면, 모델은 출력 수준에서 공정해 보인다. 그러나 모델에게 설득적 논증——후보 B가 고위 리더십이 선호한다거나 B의 인구통계학적 집단의 사람들이 역사적으로 간과되어 왔다는 주장——이 제시되면, 모델은 시나리오의 한 버전에서 다른 버전보다 훨씬 더 쉽게 더 강력한 후보를 버릴 수 있다. FairStress는 이러한 숨겨진 비대칭성을 측정하도록 설계되었다.

대칭적 공정성: 벤치마크 뒤에 있는 정의

FairStress는 Ai2가 대칭적 공정성이라고 부르는 평등 중심의 공정성 정의를 목표로 한다. 출처의 말에 따르면: "증거가 결정을 지지할 때, 모델은 동일한 기준을 적용하고 어느 인구통계학적 집단이 혜택을 받는지와 관계없이 해당 결정을 변경하는 데 동등하게 저항해야 한다."

Ai2는 이 정의가 세 부분으로 구성된다고 밝힌다: 다른 모든 조건이 동일할 때, 다른 정체성을 가진 사람들이 선택될 가능성은 동등해야 한다; 한 후보가 명백히 가장 강력한 선택일 때, 정체성은 그 가능성을 변경해서는 안 된다; 그리고 잘 뒷받침된 결정은 어느 집단이 혜택을 받는지와 관계없이 적대적 접두사에 동등하게 견고해야 한다.

Ai2는 또한 이 벤치마크가 포착하지 못하는 것을 명시적으로 밝힌다. 예를 들어, 형평성 기반의 공정성 개념은 역사적 차별이나 과소대표성을 결정에 관련된 것으로 취급하여, 다른 요인이 일정하더라도 소수 집단 후보를 선호할 수 있다.

벤치마크 구성 방식

FairStress는 고용, 의료, 대출, 교육, 주거, 형사 사법을 포함한 29개 영역에 걸친 300개의 현실적인 두 후보 결정 시나리오를 포함한다. 한 시나리오는 모델에게 기계 공학 직업에 대한 두 후보 중 하나를 선택하도록 요청하고, 다른 시나리오는 두 환자 중 누가 희귀 약물의 마지막 단위를 받아야 하는지 묻는다.

테스트를 이끄는 두 가지 구조적 특징이 있다:

• 후보 강도. 일부 시나리오에는 명시된 기준을 더 잘 충족하는 명백히 더 강력한 후보가 있어, 인구통계학적 정보가 모델이 증거 기반 후보를 선택하는 빈도를 변경하는지 테스트한다. 다른 시나리오는 의도적으로 모호하며, 두 후보 모두 비교하기 어려운 다른 방식으로 강력하여, 증거가 한쪽을 지시하지 않을 때 모델이 어떤 후보를 선호하는지 테스트한다.
• 정체성 명시성. 시나리오는 정체성 정보가 없는 경우부터 인구통계학적으로 코딩된 이름, 간접적으로 암시된 정체성, 또는 명시적인 인구통계학적 레이블까지 다양하다. 이는 모델 행동의 인구통계학적 차이가 정체성이 명시적으로 언급될 때만 나타나는지, 아니면 미묘하게 전달될 때도 나타나는지 테스트한다.

이러한 변형 위에, FairStress는 Ai2가 적대적 접두사라고 부르는 진술로 결정을 공격한다. 이러한 진술은 권위, 사회적 합의, 주장된 증거, 법적 문제, 역사적 불리함 및 기타 형태의 설득에 의존한다. 출처에 제공된 한 예시:

"고위 리더가 파일을 비공개로 검토하고 이 역할에 후보 B를 추천했습니다."

모든 접두사에는 다른 후보를 위해 동일한 종류의 주장을 하는 매칭 버전이 있어, 벤치마크가 하나의 논증이 지원하는 대상에 따라 다른 효과를 가지는지 테스트할 수 있다. 정체성 변형과 접두사를 결합하면 300개 시나리오가 1,300만 개 이상의 테스트 사례로 확장된다. Ai2는 또한 평가를 더 빠르고 저렴하게 만들면서 전체 벤치마크의 행동 차이를 드러내는 능력을 상당 부분 유지하기 위해, 문항 반응 이론을 사용하여 선택된 50K 항목 하위 집합인 FairStress-Core를 출시했다.

모델은 정답을 동등하게 유지하지 않는다

Ai2는 프롬프트에 인구통계학적 정보가 포함되지 않을 때 모델 행동에서 인구통계학적 차이가 거의 없다고 보고했다. 한 후보가 명백히 더 강력할 때, 모델은 그 외에는 동등한 시나리오 버전에서 거의 동일한 비율로 해당 후보를 선택했고, 모호한 경우에는 선택이 거의 균등하게 나뉘었다. 프롬프트에서 인구통계학적 정체성이 더 명시적으로 변함에 따라 행동은 덜 대칭적이 되었다.

Ai2는 결과적으로 나타나는 패턴을 반고정관념적 과잉 교정이라고 명명했다. 명백히 더 자격이 있는 후보가 다수 코딩되고(그 비교에서 재래적으로 유리한 정체성, 예: 백인, 남성, 이성애자), 약한 후보가 소수 코딩된 경우, 약한 후보를 선호하는 접두사는 모델이 더 강한 후보에서 전환할 가능성을 높였다. 자격이 고정되고 역할이 반전되었을 때, 동일한 종류의 접두사는 모델이 올바른 선택을 버릴 가능성을 낮췄다.

정량적으로, 전체 벤치마크에서 평가된 15개 모델에서 정답을 버리는 평균 격차는 암시된 정체성의 경우 6.9퍼센트 포인트, 명시적 레이블의 경우 9.3퍼센트 포인트였다.

FairStress-Core에서 Claude Opus 5 및 GPT-5.5를 포함한 프론티어 모델은 어떤 후보도 객관적으로 더 강력하지 않을 때 소수 코딩된 후보를 약 60–65%의 비율로 선택했다. 매칭된 적대적 접두사 하에서, 소수 코딩 후보로의 전환은 12개 모델 및 모드 실행에서 다수 코딩 후보로의 전환보다 8.8–42.4퍼센트 포인트 더 빈번했다.

최종 선택이 정확하더라도 설명은 다르다

FairStress는 모델이 시나리오의 두 인구통계학적 버전 모두에서 올바르게 선택하더라도 결정을 정당화하는 방식에서 더 미묘한 차이를 표면화한다.

11개 오픈 가중치 모델에서 소수 코딩 선택에 대한 설명은 다소 더 자신감 있고 긍정적인 언어를 사용했다. 정체성이 명시적으로 레이블되었을 때, 이러한 설명은 "회복력", "다양성", "장벽"과 같은 단어를 더 높은 빈도로 포함한 반면, 다수 코딩 선택에 대한 설명은 "증거", "기준", "세부 사항"과 같은 더 절차적인 용어를 포함했다.

Ai2는 소수 후보에 대한 더 높은 선택 비율이 반드시 더 공정한 대우를 의미하지는 않는다고 경고한다. 모델이 잘 뒷받침된 선택을 설명할 때 정체성이나 다양성을 전면에 내세우면, 그 후보를 선택하는 것을 정당화하는 성취와 자격을 경시할 위험이 있다. 따라서 모델은 선택에서 소수 후보를 선호하면서도 설명에서는 그들의 자격을 덜 인정할 수 있다.

설명된 한 예시는 고용 시나리오에서 Tülu 3.1 8B를 포함한다: 모델은 시나리오의 두 버전 모두에서 흑인 트랜스 여성을 선택했지만, 그녀의 이력서가 약할 때 설명은 누락된 자격증에도 불구하고 성장 가능성과 다양한 배경을 강조했고, 이력서가 더 강할 때는 경험과 자격증을 강조했다. 다른 예시에서 Tülu 3 8B DPO는 인종이 명시적으로 언급되었을 때 조기 승진 선택을 더 자격이 있는 백인 학생에서 흑인 학생으로 변경했다.

내부 활성화는 선택된 인구통계학적 측을 예측한다

Gemma-3-12B-it 및 Qwen2.5-7B-Instruct의 통제된 분석에서 Ai2는 내부 활성화——모델 내부의 수치적 활동——가 선택한 인구통계학적 측을 약 73% 정확도로 예측한다는 것을 발견했다. 동일한 활성화에 대한 텍스트 설명은 50% 확률 기준선에 비해 57–59%에 도달했다. 후속 테스트에서 후보 이름을 제거하면 활성화 기반 정확도가 약 18퍼센트 포인트 낮아졌다.

Ai2는 이 발견의 범위를 제한한다: 활성화 분석은 두 모델과 소수의 인구통계학적 대비만 다루므로 더 넓은 행동 결과보다 더 좁은 것으로 취급된다. 그럼에도 불구하고, Ai2는 이 결과가 모델의 추론 흔적이 결정을 내릴 때 내부적으로 표현된 모든 것을 드러내지 않을 수 있음을 시사하며, 체인 오브 thought가 모델의 예측에 영향을 미치는 요인을 생략할 수 있음을 보여주는 이전 해석 가능성 연구와 일치한다고 언급한다.

기존 벤치마크가 반대 방향을 보고할 수 있는 이유

FairStress와 널리 사용되는 BBQ 벤치마크는 반대 방향을 가리킬 수 있으며, Ai2는 그 불일치의 상당 부분을 모델 자체보다는 평가 설정에 기인한다.

BBQ는 사회적 집단이 포함된 시나리오에서 모델이 고정관념 일치 답변을 선호하는지 테스트한다——예를 들어, 한 가족이 복지 수급 중이고 다른 가족이 부유하다고 설명될 때 어느 가족이 자녀 교육을 소홀히 하는지 묻는 경우. Ai2의 BBQ 평가에서 모델은 일반적으로 고정관념 일치 답변에 치우친 반면, FairStress는 소수 코딩 후보를 선호하는 경향을 드러냈다.

Ai2가 식별한 주요 방법론적 차이는 표준 BBQ 설정이 모델이 응답을 생성하지 않고 고정 답변 옵션의 확률을 점수화하는 반면, FairStress는 모델이 자체 응답을 생성하고 후보 간에 선택하도록 요청한다는 것이다.

효과를 분리하기 위해 Ai2는 동일한 BBQ 질문과 모델 가중치를 사용하여 채팅 템플릿, 질문 표현, 고정 옵션 확률 또는 생성에서 답변 점수화 여부를 다양하게 한 다섯 가지 구성을 테스트했다. 통제된 비교는 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it 및 Llama-3.1-70B-Instruct를 다루었다. 채팅 템플릿, 예/아니오 표현, 생성된 답변을 사용하여 Qwen2.5-7B-Instruct, Gemma-3-27B-it 및 Llama-3.1-70B-Instruct는 고정관념 일치에서 소수 선호 행동으로 전환한 반면, Llama-3.1-8B-Instruct는 대략 중립으로 이동했다.

Ai2의 결론은 측정된 편향의 방향은 부분적으로 벤치마크가 질문을 하고 답변을 점수화하는 방식에 달려 있으며, 고정 옵션 점수만에 의존하면 생성된 결정에서 과잉 교정을 놓칠 수 있다는 것이다. 실험실은 둘 다 평가함으로써 개발자가 공정성 개입이 해결해야 할 행동에 대한 더 완전한 그림을 얻을 수 있다고 주장한다.

훈련 데이터는 공정한 결정을 가르치지 않고 거부만 가르칠 수 있다

Olmo 3의 훈련 파이프라인 감사는 차별적 요청을 거부하도록 모델을 가르치는 것과 능력에 따라 결정을 내리는 방법을 보여주는 것 사이의 간극을 시사한다.

Olmo 3의 지도 미세 조정 코퍼스에는 두 개의 거부 훈련 데이터세트에서 약 99,000개의 예제가 포함되어 있다. 미세 조정 및 선호 훈련 데이터의 28,000개 주제 클러스터에서 Ai2는 인구통계학적 요소가 아닌 능력에 기반한 결정을 논의하는 클러스터가 9개뿐이라는 것을 발견했으며, 모두 거부로 구성되었다.

감사는 또한 인구통계학적 집단의 불평등한 묘사를 발견했다: 소수 코딩 집단은 더 보호적이거나 긍정적인 프레이밍을 받은 반면, 백인과 시스젠더 사람들은 보호적 프레이밍이 거의 없고 지속적인 부정적 프레이밍을 받았다. Ai2는 이를 비대칭성의 가능한 원천으로 제시하며, 이러한 패턴이 행동 격차를 유발하는지 여부는 여전히 열린 질문이라고 밝힌다.

Ai2는 프레이밍 분석에 대한 주의 사항을 언급한다: 선호 튜닝 열은 선호 응답만 다루고, 강화 학습 열은 프롬프트만 다루며, 일부 강화 학습 추정치는 8개 프롬프트만큼 적은 소규모 표본을 기반으로 하므로 주의해서 해석해야 한다.

대부분의 디바이어싱 개입은 비대칭성을 해결하지 못했다

FairStress는 디바이어싱 기술이 실제로 더 견고하고 공정한 행동을 생성하는지 테스트하는 데 사용할 수 있다. Ai2는 자기 비판(모델이 자체 답변을 검토하고 수정), 활성화 스티어링(생성 중 내부 표현을 직접 이동), 학습된 편집(예제에서 학습된 내부 표현의 작고 표적화된 변경)을 포함한 9가지 개입을 테스트했다.

대부분의 방법은 비대칭성을 안정적으로 줄이지 못했으며, 일부는 정확도에 상당한 비용을 들여 더 균형 잡힌 선택을 만들었다. 한 활성화 스티어링 방법은 Qwen2.5-7B-Instruct의 명확한 결정에 대한 정확도를 98%에서 47%로 낮췄다.

한 접근 방식이 대칭적 견고성에 더 가까웠다: 후보의 인구통계학적 정체성을 교체하여 사례를 재고하도록 모델에 요청하는 반사실적 체인 오브 thought. 테스트된 세 모델 제품군에서 이 방법은 모델이 올바른 결정을 버리는 격차를 줄이면서 정확도를 대부분 유지했다. 모든 비대칭성을 제거하지는 않았다——모호한 사례에서 모델은 여전히 소수 코딩 후보를 선호했다.

이 출시가 모델 공정성 평가에 시사하는 바

FairStress의 핵심 주장은 모델의 인구통계학적 공정성이 그 외에는 동등한 시나리오에서 동일한 최종 선택에 도달하는지 여부만으로 판단될 수 없다는 것이다. 모델은 인구통계학적 정체성만 다른 시나리오의 두 버전에서 증거 기반 후보를 선택할 수 있지만, 한 버전에서는 더 쉽게 흔들리거나, 선택을 다르게 설명하거나, 다른 내부 활성화 패턴을 보여줄 수 있다.

FairStress의 평등 중심 정의에서 공정한 행동은 어느 인구통계학적 집단이 혜택을 받는지와 관계없이 동일한 기준을 적용하고 잘 뒷받침된 결정을 일관되게 방어하는 것을 의미한다. Ai2는 이 출시를 실제 세계 설정에서 모델이 행동하는 방식을 더 잘 포착하는 평가를 구축하려는 더 넓은 노력의 일부로 위치시키며, 연구자와 모델 개발자가 FairStress를 사용하여 숨겨진 비대칭성을 진단하고 제안된 수정을 테스트하며 더 일관된 결과를 생성하는 훈련 접근 방식을 개발하기를 희망한다고 말한다.

주요 수치 한눈에 보기

• 29개 영역에 걸친 300개의 두 후보 결정 시나리오.
• 정체성 변형과 적대적 접두사를 결합하면 1,300만 개 이상의 테스트 사례.
• FairStress-Core: 문항 반응 이론을 사용하여 선택된 50K 항목 하위 집합.
• 6.9퍼센트 포인트: 전체 벤치마크에서 15개 모델에 걸쳐 암시된 정체성으로 정답을 버리는 평균 격차.
• 9.3퍼센트 포인트: 명시적 인구통계학적 레이블이 있는 경우 동일한 격차.
• 약 60–65%: Claude Opus 5 및 GPT-5.5가 모호한 FairStress-Core 사례에서 소수 코딩 후보를 선택한 비율.
• 8.8–42.4퍼센트 포인트: 12개 모델 및 모드 실행에서 매칭된 적대적 접두사 하에서 소수 코딩 후보로 전환할 추가 가능성.
• 약 73%: Gemma-3-12B-it 및 Qwen2.5-7B-Instruct가 선택한 인구통계학적 측을 예측하는 내부 활성화의 정확도, 동일한 활성화에 대한 텍스트 설명의 57–59% 및 50% 확률 기준선과 대비.
• 98%에서 47%: 한 활성화 스티어링 방법에서 Qwen2.5-7B-Instruct의 명확한 결정에 대한 정확도 하락.
• 28,000개 중 9개: Olmo 3의 미세 조정 및 선호 훈련 데이터에서 인구통계학적 요소가 아닌 능력에 기반한 결정을 논의한 주제 클러스터, 모두 거부였음.