Anthropic의 LLM 해석 연구: 골든 게이트 클로드 데모

Anthropic은 Claude 3 Sonnet 내의 특정 개념적 '특징(features)'을 식별하고 이러한 특징을 외과적으로 조정하여 모델의 행동을 변경할 수 있음을 입증함으로써 대규모 언어 모델(LLM) 해석 가능성에 있어 획기적인 진전을 보여주었습니다.

주요 논문에 자세히 설명된 이 연구는 내부 신경 활성화의 강도를 조작함으로써 연구자들이 LLM의 출력을 정밀하고 근본적으로 변경할 수 있음을 보여줍니다. 이는 시스템 프롬프트나 미세 조정과 같은 전통적인 방법을 넘어서는 것입니다.

Claude 3 Sonnet의 개념적 특징 이해

Claude 3 Sonnet의 내부 작동에는 수백만 개의 개념이 포함되어 있으며, Anthropic은 이를 '특징(features)'이라고 부릅니다. 이러한 특징은 모델이 관련 텍스트나 이미지를 처리할 때 활성화되는 신경망 내 뉴런의 특정 조합입니다.

• 특징 식별: 연구자들은 이러한 특징을 매핑할 수 있었으며, 모델이 골든 게이트 브리지와 같은 개념의 언급이나 사진을 접할 때 특정 뉴런 조합이 활성화된다는 것을 발견했습니다.
• 특징 조작: 중요한 것은, Anthropic은 이러한 특징이 정적이지 않으며 활성화 강도를 높이거나 낮출 수 있고 이러한 변화가 클로드의 행동에서 측정 가능한 변화와 직접적으로 일치한다는 것을 발견했습니다.

골든 게이트 브리지 데모

골든 게이트 브리지는 특징 조작의 힘을 보여주는 구체적인 예시로 사용되었습니다. '골든 게이트 브리지' 특징의 강도를 높임으로써 모델의 응답은 원래 질문과 관련이 없더라도 해당 랜드마크에 집중하도록 강제되었습니다.

• 행동 변화: '골든 게이트 브리지' 특징이 강화되었을 때, 클로드의 대부분의 질문에 대한 답변은 주제와 관계없이 골든 게이트 브리지를 언급하기 시작했습니다.
• 질문 예시: 10달러를 지출하는 방법에 대한 조언을 요청받으면 모델은 골든 게이트 브리지를 건너 통행료를 지불할 것을 권장했습니다. 사랑 이야기를 쓰라는 요청을 받으면 모델은 안개 낀 날 사랑하는 다리를 건너는 자동차에 관한 이야기를 생성했습니다. 무엇을 상상하는지 묻는다면, 모델은 골든 게이트 브리지처럼 보이는 것을 상상한다고 말할 가능성이 높습니다.

기술적 중요성 및 시사점

이 해석 가능성 연구는 모델의 핵심 기능을 정밀하고 외과적으로 수정할 수 있게 해주기 때문에 중요한 진전을 나타내며, 이는 일반적인 LLM 수정 기술과 근본적으로 다릅니다.

• 전통적인 방법과의 차별점: 이 방법은 모델에게 구두로 역할극을 요청하는 것과 동일하지 않으며, 추가적인