영향 함수를 통한 대규모 언어 모델 일반화 연구

Anthropic은 Eigenvalue-corrected Kronecker-Factored Approximate Curvature (EK-FAC) 근사법을 사용하여 영향 함수를 대규모 언어 모델(LLM)로 확장하는 방법을 개발했습니다. 이를 통해 연구자들은 특정 훈련 예제가 모델의 특정 동작에 가장 많이 기여하는지 식별할 수 있으며, 특정 시퀀스가 훈련 세트에 추가되었을 때 모델 파라미터와 출력이 어떻게 변할지에 대한 반사실적 이해를 제공합니다.

EK-FAC를 통한 영향 함수의 확장

LLM에 대한 영향 함수를 계산하는 것은 전통적으로 역-헤시안-벡터 곱(IHVP)을 계산해야 하기 때문에 어렵습니다. EK-FAC 근사법을 사용하면 정확도를 기존 영향 함수 추정치와 유사하게 유지하면서 이 계산을 수십 배 더 빠르게 수행할 수 있습니다. 이 방법은 최대 520억 개의 파라미터를 가진 모델을 분석할 수 있게 합니다.

후보 훈련 시퀀스에 대한 그래디언트 계산 비용을 줄이기 위해, Anthropic은 두 가지 특정 알고리즘 기술을 채택합니다:

• TF-IDF filtering: 분석할 후보 훈련 시퀀스를 좁히는 데 사용됩니다.
• Query batching: 여러 쿼리를 동시에 처리하는 것을 최적화하는 데 사용됩니다.

LLM 일반화 패턴 조사

이러한 확장된 영향 함수를 사용하여, Anthropic은 다음과 같은 LLM 일반화의 몇 가지 핵심 영역을 조사했습니다:

• Sparsity of influence patterns: 소수의 훈련 예제가 어떻게 특정 출력을 유도하는지 분석합니다.
• Abstraction with scale: 모델 크기가 커짐에 따라 모델의 정보 추상화 능력이 어떻게 증가하는지 관찰합니다.
• Math and programming abilities: 모델이 수학적 추론 및 코딩 작업을 수행하는 능력의 출원을 식별합니다.
• Cross-lingual generalization: 한 언어로 훈련하는 것이 다른 언어의 성능에 어떻게 영향을 미치는지 이해합니다.
• Role-playing behavior: 특정 페르소나 채택을 유발하는 훈련 데이터를 식별합니다.

일반화의 한계

모델이 정교한 형태의 일반화를 보여줌에도 불구하고, 연구에서는 중요한 한계점을 식별했습니다: 프롬프트 내 핵심 구절의 순서가 뒤바뀌면 영향 함수가 거의 0에 가깝게 감소합니다. 이는 모델의 일반화 패턴에 대한 이해가 훈련 데이터에서 제공된 정보의 순서에 매우 민감하다는 것을 시사합니다.

모델 안전성 및 위험 완화에 대한 시사점

영향 함수는 연구 커뮤니티가 모델의 내부 로직을 이해하고 LLM의 훈련 과정에 대한 더 나은 가시성을 확보할 수 있는 강력한 도구를 제공합니다. 특정 동작을 가장 많이 유발하는 훈련 예제를 식별함으로써, 개발자는 모델 출력과 관련된 위험을 더 잘 이해하고 완화할 수 있습니다.