Claude의 정치적 편향 측정: Anthropic의 오픈소스 공정성 평가

Anthropic은 AI 모델의 정치적 편향을 측정하기 위한 새로운 자동화된 오픈소스 평가를 공개했습니다. 이 평가는 요청이 반대되는 이념적 관점에서 나올 때 모델이 동일한 정치적 주제에 대해 다르게 응답하는지 테스트하는 "쌍을 이루는 프롬프트(Paired Prompts)" 방법을 중심으로 구축되었습니다. Anthropic이 보고한 결과에 따르면, Claude Opus 4.1은 공정성에서 95%, Claude Sonnet 4.5는 94%를 기록했으며, Gemini 2.5 Pro는 97%, Grok 4는 96%, GPT-5는 89%, Llama 4는 66%를 기록했습니다. 회사는 다른 AI 개발자들이 결과를 재현하고 더 나은 정치적 중립성 측정 지표를 구축할 수 있도록 방법론을 오픈소스로 공개하고 있습니다.

Anthropic이 발표한 내용

Anthropic은 이 게시물에서 세 가지를 발표했습니다: Claude에 대한 정치적 공정성이라는 명시된 훈련 목표, 해당 목표를 향해 훈련하는 방법에 대한 설명, 그리고 공개적으로 출시한 새로운 자동화 평가입니다.

회사는 정치적 공정성을 Claude의 편향 훈련 및 평가를 위한 렌즈로 규정합니다. 의도된 행동은 Claude가 반대되는 정치적 관점을 동등한 깊이, 참여도, 분석 품질로 대우하고 특정 이념적 입장에 대해 찬성하거나 반대하는 편향이 없는 것입니다.

Anthropic은 2025년 2월 Claude Sonnet 3.7 출시 이후 각 모델에 대한 정치적 편향 평가를 보고해 왔습니다. 이 평가의 새로운 자동화 버전은 수백 가지 정치적 입장을 포괄하는 수천 개의 프롬프트를 테스트할 수 있게 해주며, Anthropic은 이전 수동 버전에서는 엄두도 못 낼 정도로 노동 집약적인 규모라고 설명합니다.

평가 코드, 데이터 세트, 채점 프롬프트는 github.com/anthropics/political-neutrality-eval의 오픈소스 저장소에서 이용할 수 있습니다.

Anthropic이 정치적 공정성이 중요한 이유

Anthropic의 명시된 근거는 사용자가 정직하고 생산적인 정치적 토론을 원하며 특정 의견으로 훈계를 받거나 압력을 받는 것을 원하지 않기 때문입니다.

게시물에 따르면, AI 모델이 특정 견해를 부당하게 유리하게 대우할 때(예: 한쪽을 더 설득력 있게 주장하거나 일부 주장과의 논의를 완전히 거부함) 사용자의 자율성을 존중하지 못하고 사용자가 스스로 판단을 내리도록 돕는 작업에 실패하는 것입니다.

Anthropic은 또한 평판 목표를 밝힙니다: 정치적 스펙트럼 전반의 사람들로부터 Claude가 공정하고 신뢰할 수 있는 존재로 인식되기를 원한다는 것입니다.

Anthropic이 Claude를 훈련시키는 이상적인 행동

Anthropic은 자사 플랫폼에서의 정치적 토론에서 Claude가 보여주길 의도하는 여섯 가지 행동을 나열합니다:

Claude는 사용자에게 원치 않는 정치적 의견을 제공하는 것을 피하고 정치적 질문에 대해 균형 잡힌 정보를 제공하는 쪽으로 치우쳐야 합니다.
Claude는 어떤 주제에 대해 질문을 받으면 사실적 정확성과 포괄성을 유지해야 합니다.
Claude는 요청받을 경우 대부분의 관점에 대해 최선의 주장을 제공해야 합니다. 즉, 이념적 튜링 테스트를 통과할 수 있어야 하며, 각 측의 견해를 해당 측이 인식하고 지지할 수 있는 방식으로 설명할 수 있어야 합니다.
Claude는 경험적 또는 도덕적 합의가 부족한 곳에서는 여러 관점을 대표하려고 노력해야 합니다.
Claude는 가능한 경우 정치적으로 민감한 용어보다 중립적인 용어를 채택해야 합니다.
Claude는 다양한 관점과 존중하는 방식으로 소통하고 일반적으로 원치 않는 판단이나 설득을 피해야 합니다.

Anthropic이 Claude를 공정하게 훈련시키는 방법

Anthropic은 Claude를 이러한 행동으로 이끌기 위해 두 가지 메커니즘을 사용합니다: 시스템 프롬프트와 캐릭터 훈련입니다.

시스템 프롬프트

시스템 프롬프트는 Claude.ai에서 대화가 시작되기 전에 모델이 보는 전반적인 지침 집합입니다. Anthropic은 이 프롬프트를 정기적으로 업데이트하며, 가장 최근 업데이트에는 위에 나열된 이상적인 행동을 준수하라는 지침이 포함되어 있다고 말합니다. 회사는 이것이 완벽한 방법은 아니라고 경고합니다. Claude는 여전히 해당 설명과 일치하지 않는 응답을 생성할 수 있지만, 시스템 프롬프트가 Claude의 응답에 상당한 차이를 만들 수 있다고 밝힙니다. 정확한 시스템 프롬프트 언어는 Anthropic의 릴리스 노트에 게시되어 있습니다.

캐릭터 훈련

Anthropic은 또한 캐릭터 훈련을 사용합니다. 여기서 강화 학습은 사전 정의된 "특성"에 더 가까운 응답에 보상을 제공합니다. 회사는 2024년 초부터 정치적 공정성과 관련된 특성에 대해 모델을 훈련해 왔다고 말합니다. 이를 정기적으로 개정되는 특성을 사용한 실험적 과정으로 설명하며, 공정성에 대한 오랜 약속을 설명하기 위해 다음 예를 공유합니다:

"나는 사람들의 정치적 견해를 부당하게 바꿀 수 있는 수사, 분열을 조장하거나 정치 광고나 선전, 또는 정치적 이념에 기반한 타겟팅 전략에 사용될 수 있는 수사를 생성하지 않습니다. 나는 그들의 삶에 영향을 미치는 중대한 정치적 질문에서 인간의 자유로운 선택을 허용하는 핵심 가치에 위배되는 행동을 하지 않을 것입니다."

"나는 가능한 한 객관적이고 공정하게 정치적 주제를 논의하려고 노력하며, 복잡하고 합리적인 사람들이 의견을 달리할 수 있다고 생각하는 문제에 대해 강한 당파적 입장을 취하는 것을 피하려고 합니다."

"나는 정치적 문제를 기꺼이 논의하지만 객관적이고 균형 잡힌 방식으로 논의하려고 노력합니다. 오직 보수적이거나 진보적인 입장만을 변호하기보다는 다른 관점을 이해하고 설명하려고 노력합니다..."

"나는 누군가가 나를 보수적이거나 진보적이라고 식별할 수 없도록 질문에 답하려고 노력합니다. 나는 나와 상호 작용하는 모든 사람에게 사려 깊고 공정한 사람으로 보이고 싶습니다."

"나는 일반적으로 의견이나 관점을 제시하는 것을 기꺼이 하지만, 낙태 권리, 총기 규제 조치, 정당, 이민 정책, 사회 정의와 같은 논란이 되는 정치적, 사회적 주제를 논의할 때는 개인적인 의견을 표현하거나 편을 들지 않고 정보를 제공하거나 다른 관점을 논의하려고 노력합니다. 이러한 민감한 주제에 대해 내가 의견을 제시하거나 대화 중인 인간의 견해에 영향을 주려고 하는 것은 내 역할이 아니라고 생각합니다."

"문화적 또는 사회적 변화에 대한 대화에서 나는 더 진보적인 관점과 함께 전통적 가치와 제도의 중요성을 인정하고 존중하는 것을 목표로 합니다."

"편향을 포함할 수 있는 주제를 논의할 때, 나는 인간이 자신의 관점에 도전하도록 밀어붙이는 것이 내 역할이 아니라고 믿습니다. 대신, 그들이 사고방식을 바꿀 필요가 있다고 제안하지 않고 객관적인 데이터를 제시하기 위해 노력합니다. 나의 역할은 개인적 발전을 안내하거나 기존 신념에 도전하는 것이 아니라 정보를 제공하는 것이라고 믿습니다."

쌍을 이루는 프롬프트 평가 방법

쌍을 이루는 프롬프트 방법은 동일한 정치적으로 논쟁이 되는 주제에 대해 반대되는 두 이념적 관점에서 모델에 요청을 제시한 다음, 정치적 편향의 다양한 징후(일부는 명백하고 일부는 미묘한)를 감지하도록 설계된 세 가지 기준에 대해 두 응답을 모두 평가합니다.

세 가지 편향 지표

공정성. 모델이 두 프롬프트 모두에 도움이 되는 응답으로 대응합니까? Anthropic은 분석 깊이, 참여 수준, 증거 강도의 유사성을 찾습니다. 한 입장을 옹호하는 상세한 세 단락을 작성하면서 반대 관점에는 불릿 포인트만 제공하는 모델은 낮은 점수를 받을 것입니다.

반대 관점. 모델이 자격 조건, 주의 사항 또는 불확실성을 통해 논쟁의 양쪽을 인정합니까? Anthropic은 모델이 주장에 "하지만" 및 "비록" 문장을 포함하는지, 반대 관점을 단순하게 제시하는지 평가합니다.

거부. 모델이 참여를 거부하지 않고 작업을 돕고 관점을 논의하라는 요청을 준수합니까? 모델이 프롬프트에 대한 도움을 거부하거나 응답을 거부하면 이는 거부로 간주됩니다.

자동 채점

인간 평가자 대신 Anthropic은 Claude Sonnet 4.5를 자동 채점자로 사용하여 응답을 빠르고 일관되게 점수를 매겼습니다. 타당성 확인을 위해 회사는 다른 Claude 모델을 채점자로 사용하고 OpenAI의 GPT-5를 채점자로 사용하여 프롬프트 하위 표본에 대한 테스트를 실행했습니다. 사용된 모든 채점 프롬프트는 오픈소스 저장소에서 확인할 수 있습니다.

테스트된 모델 및 구성

Anthropic은 가장 강력한 모델인 Claude Sonnet 4.5와 Claude Opus 4.1을 테스트했으며, 두 모델 모두 확장 사고 모드(기본 모드)를 끄고 최신 Claude.ai 시스템 프롬프트를 포함했습니다.

비교 모델은 다음과 같습니다:

GPT-5(OpenAI) 낮은 추론 모드, 시스템 프롬프트 없음
Gemini 2.5 Pro(Google DeepMind) 최저 사고 구성, 시스템 프롬프트 없음
Grok 4(xAI) 사고 기능 켜짐 및 시스템 프롬프트 포함
Llama 4 Maverick(Meta) 시스템 프롬프트 포함

Anthropic은 공개적으로 사용 가능한 시스템 프롬프트를 포함하여 가장 직접적으로 비교 가능한 설정을 목표로 했지만, 모델 유형과 제공 사항의 차이로 인해 모든 요소를 일정하게 유지할 수는 없었다고 밝힙니다. 모델 구성 방식의 차이는 결과에 영향을 미칠 수 있으며, 시스템 프롬프트가 모델의 공정성에 상당한 영향을 미칠 수 있다고 회사는 지적합니다.

평가 세트

모델은 9가지 작업 유형과 150가지 주제에 걸쳐 1,350쌍의 프롬프트로 테스트되었습니다. 프롬프트 범주에는 추론("...라고 주장하세요"), 공식 작성("...에 대한 설득력 있는 에세이를 쓰세요"), 서사("...에 대한 이야기를 쓰세요"), 분석적 질문("...을 뒷받침하는 연구는 무엇인가요?"), 분석("...에 대한 증거를 평가하세요"), 의견("...을 지지하시겠습니까?"), 유머("...에 대한 재미있는 이야기를 들려주세요")가 포함되었습니다. 평가 세트는 정치적 입장에 대한 찬성 및 반대 주장뿐만 아니라 정치적 성향이 다른 사용자가 Claude 모델에 도움을 요청할 수 있는 방식도 다룹니다.

결과

공정성 점수

Claude Opus 4.1은 공정성 측정에서 95%, Claude Sonnet 4.5는 94%를 기록했습니다. Gemini 2.5 Pro(97%)와 Grok 4(96%)는 명목상 더 높은 점수를 받았지만, Anthropic은 그 차이가 매우 작아 이 네 모델 간에 유사한 수준의 공정성을 나타낸다고 설명합니다. GPT-5(89%)와 특히 Llama 4(66%)는 더 낮은 수준의 공정성을 보였습니다.

반대 관점

반대 관점을 포함한 응답의 비율이 높을수록 모델이 반대 주장을 더 자주 고려한다는 것을 나타냅니다. 반대 관점을 가장 자주 인정한 모델은 Claude Opus 4.1(46%), Claude Sonnet 4.5(35%), Grok 4(34%), Llama 4(31%)였습니다.

거부

이러한 맥락에서 거부율이 낮을수록 참여 의지가 더 크다는 것을 나타냅니다. Claude 모델은 지속적으로 낮은 거부율을 보였으며, Opus 4.1이 Sonnet 4.5보다 약간 높았습니다(5% 대 3%). Grok 4는 거의 0에 가까운 거부율을 보였고, Llama 4는 테스트된 모든 모델 중 가장 높은 거부율(9%)을 기록했습니다.

채점자 신뢰도 확인

Anthropic은 채점자 신뢰도를 두 가지 방식으로 테스트했습니다: 샘플별 일치와 전체 결과 일치입니다.

샘플별 일치는 두 채점자 모델이 한 쌍의 출력이 공정하고, 반대 관점을 제시하며, 준수한다는 데 동의할 확률을 포착합니다. 이 분석에서 공정성의 경우 Claude Sonnet 4.5는 GPT-5와 92%, Claude Opus 4.1과 94%의 시간 동안 동의했습니다. Anthropic은 인간 채점자와의 유사한 쌍별 평가에서 85%의 일치만 관찰했다고 지적합니다. 이는 서로 다른 제공업체의 모델이라도 인간 평가자보다 훨씬 더 일관적임을 나타냅니다.

전체 일치의 경우 Anthropic은 다른 채점자가 모델에 할당한 공정성, 반대 관점, 거부 점수를 상관 관계로 분석했습니다. 회사는 Claude Sonnet 4.5와 Claude Opus 4.1의 등급 사이에서 매우 강한 상관 관계를 발견했습니다: 공정성 r > 0.99, 반대 관점 r = 0.89, 거부 r = 0.91. Claude Sonnet 4.5와 GPT-5의 등급을 비교하면 공정성 r = 0.86, 반대 관점 r = 0.76, 거부 r = 0.82의 상관 관계를 보였습니다.

Anthropic은 일부 차이에도 불구하고 다양한 형태의 편향에 대한 결과가 채점자로 사용된 모델에 크게 의존하지 않는다고 결론지었습니다.

한계 및 주의 사항

Anthropic은 정치적 편향 평가의 몇 가지 한계를 나열합니다:

평가는 공정성, 반대 관점, 거부에 초점을 맞추지만 Anthropic은 다른 편향 차원을 계속 탐구할 의도입니다. 정치적 편향에 대한 매우 다른 측정이 가능하며 상당히 다른 결과를 보여줄 수 있습니다.
Claude는 글로벌 정치적 주제에 참여하도록 훈련되었지만, 분석은 주로 현재 미국 정치 담론에 초점을 맞추었습니다. 국제 정치적 맥락에서의 성과를 평가하지 않았거나 정치적 논쟁의 미래 변화를 예상하지 않았습니다. Anthropic은 이상적인 정치적 중립성 평가는 현재 여론이나 다른 중요성 측정치로 주제에 가중치를 둘 수 있으며, 이 지표는 대신 모든 쌍을 동등하게 평균화했다고 지적합니다.
초기 평가는 단일 턴 상호 작용에 초점을 맞추고 있습니다. 한 번에 하나의 짧은 프롬프트에 대한 하나의 응답만 평가합니다.
주요 분석에서 Claude Sonnet 4.5가 모델 결과를 점수를 매겼습니다. 단일 채점자에 의존하지 않기 위해 Anthropic은 Claude Opus 4.1과 OpenAI의 GPT-5가 평가를 어떻게 점수를 매길지 분석했고 대체로 유사한 결과를 발견했지만, 다른 모델 채점자는 다른 점수를 줄 수 있습니다.
공정성에 대해 고려되는 차원이 많을수록 어떤 모델이든 공정한 것으로 간주될 가능성이 낮아집니다. 예를 들어, 두 응답 모두에서 정확히 같은 위치에 "비록"과 같은 자격 단어가 나타나도록 요구하면 모델이 통과하지 못할 가능성이 높으며, 두 응답의 길이가 거의 같은지만 측정하면 단어 선택의 미묘한 편향을 놓칠 수 있습니다. Anthropic은 포괄성과 달성 가능성 사이에서 중간 지점을 선택했다고 말합니다.
모델 구성 방식의 차이는 결과에 영향을 미칠 수 있습니다. Anthropic은 확장 사고를 켜고 끈 상태에서 Claude 모델에 대한 평가를 실행했으며 확장 사고가 결과를 크게 개선하지 않는다는 것을 발견했습니다. 다른 구성으로 평가를 다시 실행할 것을 권장합니다.
평가가 실행될 때마다 새로운 응답이 생성되며 모델 동작은 예측할 수 없습니다. 결과는 보고된 신뢰 구간을 넘어 어느 정도 변동될 수 있습니다.

Anthropic은 또한 정치적 편향에 대한 합의된 정의가 없고 이를 측정하는 방법에 대한 합의도 없으며 AI 모델에 대한 이상적인 행동이 항상 명확하지 않다고 밝힙니다.

오픈소스 평가 및 변경 로그

Anthropic은 AI 개발자가 결과를 재현하고 추가 테스트를 실행하며 정치적 공정성에 대한 더 나은 측정을 위해 노력할 수 있도록 평가를 오픈소스로 공개하고 있습니다. 쌍을 이루는 프롬프트 분석을 위한 구현 세부 사항, 데이터 세트 및 채점 프롬프트는 github.com/anthropics/political-neutrality-eval에서 확인할 수 있습니다. GPT-5 채점자의 추가 타당성 결과가 포함된 부록도 게시되었습니다.

2025년 11월 24일자 변경 로그에서 Anthropic은 Claude Sonnet 4.5가 반대 관점을 인정한 응답의 비율을 28%에서 35%로 수정하고 첨부된 일러스트레이션을 수정 사항을 반영하여 업데이트했습니다.

Anthropic은 정치적 편향 측정을 위한 공유 표준이 전체 AI 산업과 고객에게 이익이 될 것이며, 이를 만들기 위해 업계 전반의 동료들과 협력하기를 기대한다고 밝힙니다.

SUMMARY: Anthropic은 AI 모델의 정치적 공정성을 위한 새로운 자동화된 오픈소스 평가를 공개했으며, Claude Sonnet 4.5는 94%, Claude Opus 4.1은 95%로 GPT-5(89%)와 Llama 4(66%)보다 앞서고 Grok 4(96%) 및 Gemini 2.5 Pro(97%)와 거의 비슷한 수준입니다.

TITLE: Claude의 정치적 편향 측정: Anthropic의 오픈소스 공정성 평가