OpenAI Activation Atlases

OpenAI는 Google 연구원들과 협력하여 신경망 내 뉴런 간의 상호작용을 시각화하는 기술인 Activation Atlases를 개발했습니다. 이 방법은 연구자들이 개별 뉴런을 연구하는 것을 넘어 여러 뉴런의 공동 표현 공간을 이해할 수 있게 하여, AI 의사결정의 "블랙박스"를 들여다볼 수 있는 방법을 제공합니다.

Mapping Neural Interactions

Activation atlases는 기존의 특징 시각화 기술을 확장합니다. 이전의 연구들이 주로 개별 뉴런이 무엇을 나타내는지에 집중했다면, activation atlases는 뉴런이 상호작용하는 수십만 개의 사례를 수집하고 시각화합니다. 이러한 변화를 통해 뉴런들이 공동으로 나타내는 공유 공간을 시각화할 수 있으며, 네트워크의 내부 표현에 대한 더 포괄적인 관점을 제공합니다.

Improving AI Auditability and Safety

신경망의 내부 메커니즘을 이해하는 것은 모델을 감사하고 고위험 배포 환경에서 안전성을 보장하는 데 매우 중요합니다. 개발자가 코드 경로를 검토하거나 공식 검증을 수행할 수 있는 전통적인 소프트웨어와 달리, 신경망은 그와 유사한 수준의 투명성이 부족합니다. Activation atlases는 인간이 다음과 같은 사항을 식별할 수 있도록 함으로써 이 문제를 해결합니다:

• Spurious Correlations: 네트워크가 이미지를 분류하기 위해 비인과적 상관관계를 사용하는 사례를 식별합니다.
• Feature Overloading: 두 개의 서로 다른 클래스에 걸쳐 단일 특징의 재사용이 버그로 이어지는 지점을 발견합니다.
• Model Vulnerabilities: 인간이 내부 로직에 대한 이해를 바탕으로 모델을 속이기 위한 공격을 설계할 수 있도록 합니다.

Case Study: Frying Pans vs. Woks

Activation atlases의 유용성을 입증하기 위해, 연구원들은 네트워크가 프라이팬과 웍(wok)을 어떻게 구분하는지 분석하기 위해 특정 atlas를 만들었습니다. 분석 결과, 네트워크가 물리적 차이(예: 프라이팬은 사각형에 가깝고 웍은 더 둥글고 깊다는 점)를 올바르게 식별했지만, 동시에 비인과적 상관관계인 면류(noodles)의 존재에 의존하고 있다는 사실이 밝혀졌습니다.

연구원들은 이미지의 모서리에 면류를 추가하는 것만으로도 모델이 해당 객체를 웍으로 분류할 확률을 45%까지 높일 수 있다는 것을 발견했습니다. 특징 검출기 과부하를 목표로 하는 다른 인간 설계 공격은 최대 93%의 성공률을 기록하며 더욱 효과적이었습니다. 이 사례는 모델이 인과적이지 않은 상관관계를 포착할 수 있음을 보여주며, 이는 AI 시스템의 공정성과 편향성에 대한 우려를 반영하는 패턴입니다.

Implications for Interpretability

Activation atlases의 성공은 신경망 활성화가 인간에게 의미 있는 정보를 제공할 수 있음을 시사합니다. 이 발견은 시각 모델에서 강력한 해석 가능성을 달성할 수 있다는 낙관론을 높이며, 잠재적으로 AI 시스템을 불투명한 "블랙박스"에서 투명하고 감사 가능한 시스템으로 전환할 수 있는 가능성을 열어줍니다.