신경망은 이미 깨끗하다: 캄마라타의 중첩은 오독이었다는 주장

닉 캄마라타의 에세이 "신경망은 이미 깨끗하다"는 already-clean.goodfire.com에 게재되었고 Hacker News에서 논의되었으며(801점, 325개 댓글), 이 분야가 뉴런의 직접 연구를 포기한 핵심 이유인 중첩이 증거의 오독이었고, 현대 신경망은 일반 과학으로 직접 연구할 수 있을 만큼 해독 가능하다고 주장합니다.

이 에세이의 핵심 주장은 네트워크 자체의 메커니즘이 해독 가능한 구성 요소이며, 기계적 해석 가능성은 이 분야가 두려워했던 것보다 훨씬 다루기 쉬울 수 있다는 것입니다. 캄마라타는 "임의의 패킹처럼 보였던 것은 대부분 재귀적 일반화라고 부르는 모티프였으며, 이는 훨씬 덜 우려되는 것입니다"라고 씁니다.

고양이-자동차 뉴런은 V자형 뉴런입니다

다의적 뉴런의 가장 유명한 예는 InceptionV1의 4e:55 유닛으로, 고양이 얼굴과 자동차 앞면 모두에 반응하는 것으로 보였습니다. 이 예를 대중화한 2020 Distill 논문 Zoom In의 공동 저자인 캄마라타는 이제 그 뉴런이 V자형 감지기라고 말합니다.

뉴런의 회로 연결을 살펴보면, V자형 불꽃, 소방선의 V자형 물줄기, V자형 여우 얼굴을 발견했습니다. 음극은 V가 뾰족한 곳의 둥근 O에 반응합니다. 하류 판독기에는 불꽃 뉴런, 코요테 얼굴 뉴런, 마티니 잔 뉴런이 포함됩니다.

캄마라타는 원래의 오독을 두 가지 겹치는 오류로 돌립니다. 첫째, 이 분야는 일반화된 포즈 뉴런에 대해 알지 못했으며, InceptionV1에는 100개 이상이 있습니다. 둘째, 특징 시각화는 더 깊은 층에서 보상 해킹을 당했습니다: 경사 하강은 가장 쉬운 경로를 취하는데, InceptionV1에서는 종종 개를 의미합니다. 훈련 데이터에 개가 많고 개 뉴런도 많기 때문입니다. "최상위 이미지가 취하는 자연스러운 경로로 약간만 편향시키면 대부분 자동차이고, 일부는 공유 포즈 때문에 개와 자동차 모두입니다."

같은 오류가 2019년 캄마라타가 발견한 표준 중첩 회로에도 영향을 미쳤으며, 이는 자동차 특징이 관련 없는 개 뉴런 집합으로 퍼지는 것처럼 보였습니다. 그는 이제 자동차와 개가 공유 포즈로 인해 함께 모였으며, 그 조합을 직접 읽는 것은 없다고 말합니다. "그것은 아무것도 숨기지 않았습니다; 그것은 평범한 일반화와 구성이었습니다. 제가 아는 한, 아무도 올바른 모양의 두 번째 회로를 발표하지 않았습니다."

InceptionV1의 마지막 층은 중첩이 아니라 학습 실패였습니다

이 에세이의 두 번째 주요 주장은 InceptionV1의 해석 불가능한 것으로 여겨진 후기 층이 구조적 문제였다는 것입니다. 캄마라타는 이 분야가 처음 모델을 연구했을 때 마지막 층의 뉴런 중 거의 해석 가능한 것이 없었다고 회상합니다. 그가 인용한 한 추정치는 "제가 아는 한, InceptionV1의 최종 층에는 본질적으로 해석 가능한 뉴런이 없습니다"라고 말했습니다.

더 나은 해석 도구로, 그는 이제 같은 네트워크에서 약 50%로 추정합니다. 더 합리적인 현대 정규화로 같은 구조를 재훈련하면 약 70%로 올라갑니다. 같은 크기의 ConvNeXt를 같은 데이터 세트로 훈련하면 약 99%에 도달합니다.

이를 수정한 구조적 변경은 해석 가능성을 위해 설계된 것이 아닙니다. 잔차 연결과 LayerNorm은 깊은 네트워크가 학습하도록 돕기 위해 도입되었습니다. 캄마라타는 또한 그것들이 깊은 층을 개념적으로 깨끗하게 만들었다고 주장합니다. "이러한 일반적인 개선으로 모델 크기나 훈련 데이터를 변경하지 않고도 마지막 층의 뉴런 99-100%가 쉽게 해석 가능하며 모델은 전체적으로 광범위하게 해독 가능합니다."

그는 크기가 약 300배 차이 나는 ConvNeXt 모델(92k, 7.06M, 28.6M 매개변수)을 훈련했으며, 모든 규모에서 네트워크가 광범위하게 해독 가능하다고 보고합니다. 더 작은 모델은 더 거친 뉴런을 가지며, 분열된 것이 아닙니다. "공간이 적으면 네트워크는 관련 없는 것들을 함께 접지 않습니다; 뉴런은 단지 더 거친 개념을 덮을 뿐입니다. 예를 들어 하나의 자동차 뉴런이 여러 종류의 자동차를 덮는 것처럼요."

재귀적 일반화가 중첩을 대체합니다

캄마라타가 제안하는 중첩의 대안은 그가 재귀적 일반화라고 부르는 모티프입니다: 뉴런이 성장함에 따라 나무 가지가 하위 가지를 내는 것처럼 가지를 뻗습니다. "iy"를 감지하는 언어 모델 뉴런은 "diy"를 감지하도록 성장하고, 그 다음 "do it yourself"를 감지하는데, 여기에는 "iy"가 전혀 없습니다.

그는 이 아이디어가 2021년 Multimodal Neurons 논문의 잊혀진 하위 섹션에서 처음 나타났으며, "결합 특징"이라고 불렸다고 말합니다. 당시 그는 훈련 중 뉴런이 성장하는 것을 보지 못했습니다. 이제 그는 원래 InceptionV1을 포함하여 그가 본 모든 곳에서 이 아이디어가 유지된다고 말합니다. 가장 덜 해독 가능한 뉴런은 "국소적으로 합리적이고 인접한 영역으로 과성장하는 것으로 밝혀졌습니다."

이 구분은 두 설명이 반대 예측을 하기 때문에 중요합니다. 일반화는 유사한 것들을 함께 그룹화하므로 그룹화는 네트워크가 어떻게 생각하는지에 대한 단서입니다. 중첩은 관련 없는 것들을 함께 그룹화하므로 그룹화는 거의 아무것도 가르치지 않습니다. "중첩은 이 분야가 선택한 것이었고, 최근까지 저도 그랬습니다. 그러나 이제 재귀적 일반화가 기본적으로 옳았다고 생각합니다."

현대 모델은 얼마나 해석 가능한가?

캄마라타는 Qwen3-32B에 대한 예비 감사에서 뉴런 극의 약 90%가 하나의 주요 작업을 가지며, 종종 작은 관련 가지를 가지고 있다고 보고합니다. 약 7%는 두 개의 관련 작업을 가지며, 약 2-4%만 아직 이해되지 않았습니다. 그는 정확한 숫자가 약한 활성화에 대한 임계값, 깊이, 그리고 "하나의 것"으로 간주되는 것에 따라 달라진다고 지적합니다.

그는 이것을 이전 결과와 대조합니다. Anthropic의 2023 Towards Monosemanticity 논문은 작은 단일 층 모델을 연구하면서 중앙값 뉴런에 대해 루브릭에서 0/14를 주었으며, 이는 평가자가 어떤 가설도 세울 수 없음을 의미합니다. 캄마라타가 2023년에 시작한 OpenAI 자동 해석 프로젝트는 가장 관대한 측정으로 뉴런의 약 1.7%가 해석 가능하다고 발견했습니다.

그 원래 프로젝트에서 사용된 모델인 GPT-2 XL의 경우, 당시 뉴런의 2% 미만이 깨끗하게 나왔다고 보고합니다. 현대 도구로 돌아가 거의 반복 없이 500개의 뉴런 논문을 만들면 약 70%가 이제 대략 하나의 것으로 보입니다. 약 5%는 완벽합니다.

그는 또한 수조 매개변수 모델, 특히 동반 논문에서 더 자세히 다룰 Kimi K3에서도 같은 결과가 유지된다고 보고합니다. 이 에세이는 다중 수조 매개변수 모델의 첫 번째 게시된 속성 그래프라고 설명하는 것을 포함합니다.

압축된 층 실험

네트워크가 압축 시 중첩으로 전환하는지 테스트하기 위해 캄마라타는 층 3b를 480개 뉴런에서 10개로 줄이고 우회 경로 없이 InceptionV1을 재훈련했습니다. 모델은 50,000개의 보류된 ImageNet 이미지에서 top-1 정확도 58.35%, top-5 정확도 81.14%에 도달했습니다.

중첩이 대체 수단이었다면 층은 곡선, 색상, 질감의 겹치는 혼합을 보여야 했습니다. 대신 뉴런은 해석 가능하지만 더 거칠게 유지되었습니다: 10개의 곡선 감지기 대신 하나의 "곡선 및 루프" 뉴런, 여러 원 유형 대신 두 개의 원 뉴런.

그런 다음 압축된 층에 640개의 특징을 가진 TopK 희소 오토인코더를 훈련했습니다. SAE는 보류된 위치의 분산의 82%를 설명했으며, 이를 삽입했을 때 10,000개의 검증 이미지에서 top-1이 58.8%에서 43.0%로 떨어졌습니다. 원래 곡선 감지기와 가장 잘 일치하는 SAE 특징은 깨끗한 곡선이 아니라 넓고 뭉쳐 있었습니다. "깨끗한 곡선 뉴런과 같은 것은 보지 못합니다."

병렬 실험은 7.06M 매개변수 ConvNeXt의 마지막 층을 1,024개 뉴런에서 13개로 압축하고 처음부터 훈련했습니다. 결과는 같은 확장 패턴이었습니다.

약한 활성화는 대부분 일반화입니다

캄마라타는 약한 활성화가 숨겨진 특징이 숨는 곳이 아니라고 주장합니다. 그의 추론은 약한 활성화가 강한 것보다 훨씬 밀도가 높기 때문에, 포장된 특징은 이득이 거의 없이 수십 배 더 많은 것들과 충돌할 것이라는 것입니다.

중간 ConvNeXt에서 가장 약한 활성화의 75%를 제거하면 정확도가 72%에서 71%로 떨어지고 10개 중 1개의 답변이 변경된다고 보고합니다. 가장 강한 7%를 제거하면 정확도가 72%에서 4%로 떨어지고 100개 중 96개의 답변이 변경됩니다. "중요한 일반적인 것들은 약한 활성화에 있을 수 없습니다. 우리가 그것들을 제거할 수 있기 때문입니다."

그는 또한 백분위수 기반 사고에 반대합니다. "99번째 백분위수는 높게 들리지만, 100개 토큰 중 1개는 페이지의 약 4분의 1이며, 틈새 감정이나 사회적 맥락을 위한 뉴런(언어 모델에 흔함)은 페이지당 4번 나타나지 않아야 합니다."

언어 모델 예시

몇 가지 구체적인 언어 모델 뉴런이 주장을 설명하는 데 사용됩니다. 표준 top-k 자동 해석이 "다의적 쉼표 뉴런"으로 분류하는 뉴런은 실제로 콜로라도를 추적하는 것으로 밝혀졌습니다: 전화번호, 속어, 다른 콜로라도 뉴런과의 연결. 그것을 조종하면 모델이 하이킹을 가고 싶어했습니다. 쉼표는 모델이 콜로라도 맥락의 진행 중인 요약을 저장하는 곳입니다.

"pr"에 발화하는 뉴런은 Base64 URL 문자열과 벵골어 텍스트에도 발화합니다. URL을 디코딩하면 "pr" 단어가 생성되고, 벵골어를 음역하면 "pr"이 생성됩니다.

JavaScript 라이브러리인 Cesium으로 일반화되는 지질학 뉴런은 재귀적 일반화 가지로 제시됩니다. 미야자키 뉴런은 저자들이 시도한 모든 스크립트와 의미에서 이름에 발화하며, "센과 치히로의 행방불명"과 같은 후속 연관을 공급합니다.

SwiGLU 이중 음수 영역

캄마라타는 아무도 알아차리지 못한 SwiGLU 뉴런의 이중 음수 영역을 발견했다고 보고합니다. 현대 뉴런은 게이트와 값을 모두 가지며, 둘 다 음수일 때 곱이 양수이므로 뉴런은 두 가지 상당히 다른 이유로 발화할 수 있습니다.

한 예에서 top-k 대시보드가 "골로새서 참조"를 보여주는 뉴런은 실제로 모든 활성화에서 게이트가 닫혀 있는 것으로 밝혀졌습니다. 뉴런의 실제 작업은 어떤 스크립트에서든 "Russia" 또는 "Russian"을 완성하는 토큰입니다. 뉴런의 약 4%에서 에코가 목록의 전체 상단입니다. 전체 네트워크에서 이를 절제하면 대부분의 벤치마크가 올라가지만 일부 추론 벤치마크는 낮아집니다.

주의와 잔차 스트림

캄마라타는 주의에 대해 더 신중합니다. 그는 주의를 충분히 이해하여 그 해독 불가능성이 중첩이라고 자신 있게 말할 수 있는 사람이 있는지 확신하지 못한다고 씁니다. 그는 100개의 속성 그래프에 걸친 자신의 추측과 에이전트의 독립적 추정을 바탕으로 전역 주의 헤드 이름을 갖는 것의 한계 "설명 잔차"를 약 5%로 추정합니다.

잔차 스트림에 대해, 그는 모든 뉴런을 유지하면서 4배와 8배 더 좁게(마지막 블록에서 46차원으로) 압축하면 정확도가 72%에서 60%와 39%로 떨어진다고 보고합니다. 결과 맵은 정상 너비 모델과 비슷해 보였지만 더 지저분했습니다. "영리하게 인터리브된 것은 아무것도 없습니다."

질 수 있는 설명 테스트

이 에세이는 "블라인드 최대" 테스트를 설명합니다: 한 에이전트가 뉴런을 조사하고 짧은 설명을 씁니다; 두 번째 에이전트는 그 설명만 보고 그것을 최대한 활성화하려는 예를 씁니다. 결과는 일반적으로 간단하고 읽을 수 있는 문장이며, 100억 토큰에서 발견된 어떤 예보다 뉴런을 더 강하게 활성화할 수 있습니다.

200개의 무작위 뉴런에 대한 별도 테스트에서 에이전트는 각 뉴런의 설명만 읽고 그것을 구동해야 하는 5개의 새 예와 그렇지 않아야 하는 5개의 근접 실패를 썼습니다. 긍정적인 측면을 설명하는 183개 중에서 새 예는 76%의 시간 동안 뉴런을 강하게 발화시켰고, 근접 실패는 11%였습니다. 설명은 164개에서 이기고, 15개에서 비기고, 4개에서 졌습니다.

에이전트는 또한 상상할 수 있는 가장 먼 개념(네트워크가 간섭 없이 포장할 수 있는 종류)을 썼습니다. 그 텍스트는 약 1%의 시간 동안 뉴런을 강하게 발화시켰고, 183개 중 179개 뉴런은 전혀 발화하지 않았습니다.

해석 가능성에 대한 쓰라린 교훈

캄마라타는 주장을 네 단계로 구성합니다: 네트워크는 하나의 학습 원리를 사용하며 두 가지가 아닙니다; 현대 모델과 도구로 그 과학은 예상보다 잘 진행됩니다; 이해는 복합적입니다; 그리고 추측적으로, 이것이 필요한 대부분일 수 있습니다.

그는 리치 서튼의 쓰라린 교훈을 언급합니다. "아마도 해석 가능성에도 쓰라린 교훈이 있을 것입니다: 평범한 조사를 확장하는 것이 영리한 새 분해를 공학적으로 만드는 것보다 낫습니다."

그는 또한 감사할 큰 특징 목록을 찾는 열거적 해석 가능성과 질문에서 시작하여 속성 그래프와 메커니즘을 유연하게 확대하는 탐색적 해석 가능성을 구분합니다. "이 접근 방식은 다의성에 훨씬 더 탄력적입니다."

Hacker News 토론에서의 비판과 반론

여러 댓글 작성자가 에세이의 범위에 반박했습니다. 한 사람은 주장이 과도하다고 주장하며, 네트워크가 의미론적이지 않은 응축된 표현으로 경향이 있음을 시사하는 Lottery Ticket Hypothesis와 Multimodal Gap 연구(arXiv:2203.02053)를 인용했습니다.

"주장은 실제로 증명된 것의 과도한 확장입니다... 기계적 해석이 코앞에 있다고 주장하기 시작하기 전에 이러한 것들이 충분히 고려되었다고 생각하지 않습니다."

또 다른 댓글 작성자는 설명되지 않은 나머지 뉴런이 가장 중요할 수 있는지 의문을 제기했습니다:

"그 ~2-4%가 창발적 인지의 중심 허브라면, 가중치의 96%-98%를 이해하는 것이 저자가 생각하는 것보다 덜 가치 있을 수 있습니다."

스레드에 링크된 닐 난다의 응답은 다음과 같이 요약되었습니다: "이것은 흥미로운 작업이지만, 해석 가능성의 큰 그림에 대한 중요한 업데이트는 아니라고 생각합니다." 난다는 실용적인 문제에 대한 뉴런을 사용한 탐색적 해석 가능성에는 동의하지만, 야심 찬 역공학을 향한 상당한 진전에 대한 더 큰 추론에는 동의하지 않는다고 말했습니다.

전직 신경과학자는 일차 시각 피질이 공간적으로 조정된 모양과 가장자리 뉴런을 포함하는 것으로 오랫동안 알려져 왔다고 지적하고, 저자들이 인간 시각 시스템이 어떻게 작동하는지 조사했는지 물었습니다.

한 댓글 작성자는 원래 Zoom In 오류가 너무 가볍게 처리되었다고 주장했습니다:

"이런 유형의 오류는 연구자들을 수년간 오도했을 수 있습니다; 그것은 실제로 해로웠습니다. 제 분야에서는 이 정도 규모의 주장에 대해 정정 또는 철회(주장의 중심성에 따라)가 표준일 것입니다."

다른 사람들은 마음이 자신보다 훨씬 큰 마음을 이해할 수 있는지, 그리고 해독 가능성이 의미와 같은지에 대한 철학적 질문을 제기했습니다:

"뉴런은 더럽고, 우연적이며, 맹목적으로 진화된 부분입니다. 특정 기계의 나사와 같습니다... 에세이는 뉴런이 해독 가능하다는 것을 보여주지만, 해독 가능성은 의미와 같지 않습니다."

한 댓글 작성자는 에세이의 핵심 주장을 압축하여 요약했습니다: 역사적으로 사람들은 뉴런이 관련 없는 개념의 묶음을 처리한다고 생각했으며, 이 블로그는 그것이 방법론적 오류였다고 말합니다 — 개/자동차 뉴런은 단지 V자형 뉴런입니다.

여러 댓글 작성자가 에세이의 표현을 칭찬했지만, 일부는 대화형 3D 시각화가 페이지를 무겁게 만든다고 지적했습니다. 한 독자는 용어집이 포함된 압축 버전을 만들었고, 다른 독자는 오디오 버전을 생성했습니다.

에세이가 안전에 대해 주장하는 것

캄마라타의 마지막 주장은 기만이 모델 자체의 회로에서 숨을 이유가 없다는 것입니다. 왜냐하면 그것은 모델의 독자에게 접근 가능해야 하기 때문입니다. "제 두려움은 기만이 바로 거기, 명백한 곳에 있을 것이고, 우리가 그것을 읽는 방법을 모를 것이라는 것입니다."

그는 실수가 비대칭적이라고 주장합니다. 네트워크가 깨끗하다고 가정하고 틀리면 지저분한 뉴런은 조사할 단서가 됩니다. 그것이 포장되어 있다고 가정하고 틀리면 지저분한 뉴런은 조사의 끝이 됩니다. "저는 두 번째 가정을 수년간 했고, 그것은 그것을 뒤집을 증거를 설명해 버렸습니다."

그의 추측은 프론티어 네트워크가 8년 전 비전 모델이 있었던 곳에 있다는 것입니다: 해독 가능하지만 많은 작은 수정을 기다리고 있습니다. "그들은 프론티어 언어 모델에서 인간이 비전 모델에 대해 대부분의 10년이 걸린 일을 몇 달 만에 할 수 있을지도 모릅니다."

언어 모델 뉴런 실험, 현대 비선형성의 다른 영역, 깊이에 따른 회로 모티프에 대한 더 많은 세부 사항을 포함한 기술 동반 논문이 약속됩니다.

SUMMARY: already-clean.goodfire.com에 게재된 긴 에세이에서 닉 캄마라타는 신경망의 다의성이 주로 측정 아티팩트였으며, 유명한 고양이-자동차 뉴런이 실제로는 V자형 감지기이고, 수조 매개변수까지의 현대 모델이 이 분야가 가정했던 것보다 훨씬 더 해석 가능하다고 주장합니다.

TITLE: 신경망은 이미 깨끗하다: 캄마라타의 중첩은 오독이었다는 주장