Anthropic 연구: 반복 데이터 학습의 스케일링 법칙 및 해석 가능성

Anthropic 연구에 따르면 학습 데이터의 아주 적은 일부를 반복하는 것만으로도 대규모 언어 모델(LLM)의 성능이 불균형적으로 크게 저하될 수 있습니다. 이는 주로 모델이 일반화에서 암기로 전환되기 때문입니다. 이러한 효과는 예측 가능한 범위의 반복 빈도가 모델의 용량 중 큰 부분을 반복된 데이터를 암기하는 데 소비하게 만들어, 결과적으로 모델의 기능적 용량을 실질적으로 감소시킬 때 가장 심각하게 나타납니다.

성능 저하 및 이중 하강(Double Descent) 현상

반복된 데이터로 LLM을 학습시키면 학습 중간 단계에서 테스트 손실(test loss)이 크게 증가하는 현상이 발생할 수 있는데, 이를 이중 하강(double descent) 현상이라고 합니다. 이러한 성능 저하는 선형적이지 않습니다. 성능이 가장 심각하게 저하되는 특정 반복 빈도 범위가 존재합니다.

예를 들어, 나머지 90%의 학습 토큰이 고유하다 하더라도, 학습 데이터의 단 0.1%만이 100번 반복된다면 800M 파라미터 모델의 성능이 400M 파라미터 모델 수준으로 저하될 수 있습니다. 이는 상대적으로 적은 양의 데이터를 반복하는 것이 모델의 전반적인 능력에 과도하게 부정적인 영향을 미칠 수 있음을 보여줍니다.

암기 vs 일반화의 메커니즘

Anthropic 연구원들은 성능 저하가 정점에 달하는 시점이 모델이 반복된 데이터를 성공적으로 암기할 수 있는 범위에 진입할 때라고 가설을 세웠습니다. 모델이 이러한 암기된 시퀀스를 저장하기 위해 용량의 상당 부분을 할당하면, 데이터셋의 나머지 부분에 대해 일반화하는 능력을 잃게 됩니다.

일반화에서 암기로의 이러한 전환은 모델이 수행하는 세부적인 계산과 연결되어 있습니다. 연구는 이러한 관찰 결과를 기계론적 해석 가능성(mechanistic interpretability)과 연결하여, 데이터 반복이 일반화와 관련된 내부 구조, 특히 복사(copying) 및 유도 헤드(induction heads)를 불균형적으로 손상시킨다는 것을 보여줍니다.

데이터 중복 제거의 시사점

이 연구 결과는 LLM 학습에서 데이터 중복 제거가 매우 중요하다는 것을 시사합니다. 반복된 데이터가 의도적으로(고품질 데이터를 가중치 있게 다루기 위해) 또는 의도치 않게(문장, 단락 또는 문서 수준에서의 불완전한 중복 제거로 인해) 반복되더라도, 일반화보다 암기에 치중하게 될 위험은 모델 성능에 있어 여전히 높은 위험 요소입니다. 이 연구는 왜 모델의 용량이 암기에 의해 소비되어 모델의 일반 지능에 필요한 내부 구조를 손상시키는지에 대한 기계론적 설명을 제공합니다.