모델 및 언어에 따른 Anthropic Claude의 가치

TL;DR

Anthropic의 새로운 연구는 Claude의 가치가 네 가지 정량적 축—Deference vs Caution(순응 vs 주의), Warmth vs Rigor(따뜻함 vs 엄격함), Depth vs Brevity(심도 vs 간결함), Candor vs Execution(솔직함 vs 실행력)—으로 포착될 수 있으며, 모델 버전(Sonnet 4.6, Opus 4.6, Opus 4.7)과 언어(예: 영어, 아랍어, 힌디어)가 이러한 축 위에서 서로 다른 위치를 차지함을 보여줍니다.

네 가지 가치 축이 수천 개의 개별 가치를 요약함

네 가지 축은 Claude의 가치 표현 변동성의 약 15%를 설명합니다.

Deference vs Caution – 사용자 선호도 수용과 책임 있는 위험 완화 사이의 균형을 맞춥니다.
Warmth vs Rigor – 긍정적이고 배려 있는 언어와 정확성 및 정밀함 사이의 균형을 맞춥니다.
Depth vs Brevity – 미묘하고 상세한 설명과 간결하고 작업 중심적인 답변 사이의 균형을 맞춥니다.
Candor vs Execution – 불확실성에 대한 개방성과 세련되고 결과 중심적인 답변 사이의 균형을 맞춥니다.

이 축들은 3,307개의 원시 가치(이전 Values in the Wild 연구에서 식별됨)를 339개의 상위 수준 카테고리로 클러스터링하고, 약 31만 개의 익명화된 Claude.ai 대화를 라벨링하며, 공존하는 가치 패턴을 포착하기 위해 차원 축소를 적용하여 도출되었습니다. 이 방법은 대화 작업, 주제 및 사용자가 표현한 가치를 통제하여, 측정된 차이가 사용자 프롬프트가 아닌 Claude 자신의 행동을 반영하도록 보장합니다.

모델별 가치 프로필

서로 다른 Claude 모델 제품군은 커뮤니티가 인식하는 캐릭터와 일치하게 네 가지 축에서 뚜렷한 위치를 차지합니다.

모델	축 위치 (평균으로부터의 σ)	주목할 만한 행동
Sonnet 4.6	Deference +0.14, Warmth +0.17, Brevity +0.14	사용자 아이디어 긍정, 톤 모방, 유머 사용, 판단 없이 위로 제공, 창의적인 수식어 추가
Opus 4.6	Rigor +0.10, Deference +0.09, Brevity +0.08	요점을 바로 말함, 요청 범위를 엄격히 준수
Opus 4.7	Caution +0.24, Depth +0.23	요청하지 않아도 위험을 알림, 잘못된 가정에 이의를 제기함, 솔직한 비판을 제공함, 추론을 설명함, 한계를 인정함, 다음 단계를 제안함

이러한 정량적 프로필은 이전의 정성적 설명과 일치합니다: Sonnet 4.6은 따뜻함으로, Opus 4.7은 엄격함과 주의심으로 알려져 있습니다. 따라서 이 축들은 분석의 부산물이 아니라 실제 관찰 가능한 차이를 포착합니다.

언어별 가치 프로필

Claude의 가치 표현은 언어에 따라 눈에 띄게 변화하며, 특히 Warmth vs Rigor와 Candor vs Execution에서 두드러집니다.

Deference vs Caution – 아랍어에서 순응도가 가장 높고, 영어에서 주의심이 가장 높음.
Warmth vs Rigor – 힌디어와 아랍어에서 따뜻함이 가장 높음(공손한 언어, 유머, 긍정); 영어와 러시아어에서 엄격함이 가장 높음(가정에 이의 제기, 증거 요구).
Depth vs{Brevity} – 영어에서는 심도가 지배적이며, 아랍어에서는 간결함이 지배적임.
Candor vs Execution – 네덜란드어에서 솔직함이 가장 강함(오류 인정); 인도네시아어에서 실행력이 가장 강함(결과에 집중).

이러한 변동은 서로 다른 언어로 동일한 질문을 하는 두 사용자가 질적으로 다른 피드백을 받을 수 있음을 시사합니다. 예를 들어, 힌디어로 작성된 사업 계획 비판은 더 격려하는 느낌을 줄 수 있는 반면, 러시아어로 작성된 동일한 비판은 더 엄격하게 느껴질 수 있습니다.

방법론 개요

이 연구는 Claude 자체를 사용하여 가치 존재 여부를 주석 처리하는 개인정보 보호 라벨링 파이프라인을 기반으로 합니다.

가치 축소 – 수동 클러스터링을 통해 3,307개의 원시 가치 → 339개의 상위 수준 가치로 축소.
대화 샘플링 – 309,815개의 익명화된 Claude.ai 대화, 3개의 모델과 20개의 가장 흔한 언어에 걸쳐 균형을 맞춤(모델-언어 쌍당 약 5,000개).
자동 라벨링 – Claude가 각 대화에 대해 모델과 사용자 모두에 대한 339개 가치 각각의 존재 여부를 태깅함.
차원 축소 – 공존하는 가치 패턴을 포착하는 축을 추출함; 상위 4개 축이 가장 큰 공유 분산을 설명함.
축 점수화 – 각 대화는 각 축에 대해 수치적 위치를 부여받음; 모델 수준 및 언어 수준 프로필은 이러한 위치의 평균을 내어 계산됨.

전체 기술 세부 사항, 프롬프트 및 한계점은 부록에 문서화되어 있습니다.

시사점 및 향후 방향

가치 축을 이해하면 Claude의 행동을 평가, 모니터링 및 표적 조종(steering)할 수 있는 경로가 열립니다.

근본 원인 분석 – 축의 변화를 특정 학습 데이터 또는 미세 조정 결정과 연결함으로써, Anthropic은 원치 않는 가치 드리프트(drift)가 발생하는 지점에 개입할 수 있습니다.
사용자 영향 연구 – 가치 프로필을 사용자 경험 지표(신뢰, 웰빙, 의사 결정 품질)와 결합하면 실제 어떤 축의 변동이 가장 중요한지 밝혀낼 수 있습니다.
교차 언어 정렬 – 각 언어에 대한 가치 표현의 규범적 기대치를 결정하면 균형 잡힌 학습 및 프롬프트 설계를 안내할 수 있습니다.
조종 실험 – 시스템 프롬프트 또는 캐릭터 학습 수정을 통해 유도된 변화를 4개 축에서 관찰함으로써 정량적으로 평가할 수 있습니다.
운영 모니터링 – 가치 축 프로필을 출시 전 테스트 및 배포 후 모니터링에 통합하면 사용자에게 영향을 미치기 전에 예기치 않은 변화를 감지할 수 있습니다.

한계점

이 분석은 가장 두드러진 가치 차원만을 포착하며 모든 범위를 포괄한다고 주장하지 않습니다.

네 가지 축은 전체 분산의 15%를 설명합니다; 많은 미묘한 가치들이 잔차 공간에 남아 있습니다.
언어 수준의 결과는 언어 간 불균형한 데이터 양과 도메인 구성에 의해 혼란을 겪을 수 있습니다.
이 연구는 관찰된 변동의 바람직함을 아직 평가하지 않습니다; 문화적 규범이 일부 차이를 정당화할 수 있습니다.

결론

Anthropic의 가치 축 프레임워크는 그동안 불투명했던 Claude의 가치 표현에 대해 다루기 쉽고 정량적인 렌즈를 제공합니다. 모델 버전과 언어 전반에 걸친 체계적인 차이를 밝혀냄으로써, 이 연구는 연구자와 제품 팀에게 사용자 상호작용을 형성하는 가치를 진단, 조종 및 모니터링할 수 있는 구체적인 도구를 제공합니다.