StateBench: 언어 모델이 긴 문서에서 상태 변화를 추적하는 방식 테스트

StateBench 이해하기

StateBench는 언어 모델이 긴 문서 전반에 걸쳐 엔티티에 대한 정보가 변화함에 따라 이를 얼마나 효과적으로 추적하는지 측정하기 위해 설계된 진단 벤치마크입니다. 상태 추적은 변수가 지속적으로 재할당되는 코드 실행부터 캐릭터의 위치와 상태가 시간에 따라 변하는 서사 이해에 이르기까지 다양한 작업의 핵심 역량입니다. StateBench는 이러한 작업을 4가지 복잡도 수준으로 분류함으로써, 연구자들이 입력 길이가 증가함에 따라 표준 트랜스포머부터 순환 및 하이브리드 설계에 이르는 특정 모델 아키텍처가 어디에서 실패하기 시작하는지 파악할 수 있도록 합니다.

4가지 상태 추적 수준

StateBench는 Krohn–Rhodes 이론에 기반하여 업데이트 작업의 복잡도에 따라 상태 추적 문제를 계층 구조로 구성합니다. 이러한 수준은 정확한 내부 상태를 유지하는 데 있어 점점 더 어려워지는 난이도를 나타냅니다:

• R-trivial: 값이 절대 변하지 않는 불변 할당을 포함하는 문제로, 모델이 단순히 초기 상태를 복구해야 합니다.
• Aperiodic: 값에 의한 재할당을 허용하는 문제로, 모델이 이전 데이터를 무시하면서 가장 최근의 업데이트를 식별해야 합니다.
• Soluble: 자기 참조 업데이트(예: x = x + 5)를 포함하는 문제로, 모델이 누적 합계를 계속 유지해야 합니다.
• General Finite: 가장 복잡한 수준으로, 참조에 의한 할당(예: 변수 교체 또는 여러 컨테이너에 걸친 객체 추적)을 포함하며, 이는 시퀀스 전반에 걸쳐 복잡한 의존성을 생성합니다.

사전 학습 모델 및 최첨단 모델의 성능

현재 모델들에 대한 평가 결과, 특히 더 어려운 작업에서 입력 길이가 길어짐에 따라 성능이 일관되게 저하되는 것으로 나타났습니다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol 및 Luna를 포함한 최첨단 모델을 테스트했을 때, 연구자들은 이 모델들이 R-trivial 및 aperiodic 작업은 잘 처리하지만, 입력이 길어짐에 따라 soluble 및 general finite 문제에서는 정확도가 급격히 떨어진다는 점을 관찰했습니다. 이는 현재 세대의 대규모 모델들이 복잡하고 긴 의존성을 가진 상태 추적의 누적적 특성으로 인해 어려움을 겪고 있음을 시사합니다.

아키텍처적 한계 및 직접 학습

이러한 실패가 모델 아키텍처 자체의 내재적 문제인지 아니면 학습 부족의 결과인지 확인하기 위해, 연구자들은 2억 7,500만 개의 파라미터를 가진 모델을 StateBench로 처음부터 학습시켰습니다. 연구 결과는 아키텍처적 차이가 일반화에 상당한 영향을 미친다는 것을 보여줍니다:

• Transformers: 해당 작업에 대해 직접 학습을 시켰음에도 불구하고, 트랜스포머는 가장 어려운(general finite) 수준의 상태 추적을 학습하는 데 실패했습니다.
• Hybrid 및 Gated DeltaNet: 이러한 아키텍처는 우수한 일반화 능력을 보여주었습니다. 직접 학습했을 때, 이들은 수만 번의 할당까지 R-trivial, aperiodic 및 soluble 문제를 성공적으로 처리했습니다. 유연한 메모리 업데이트를 갖춘 Gated DeltaNet 변형은 가장 강력한 성능을 보였으며, 학습 중에 본 것보다 10배 더 긴 길이에서도 거의 완벽한 상태를 유지했습니다.

향후 개발을 위한 시사점

StateBench는 현재의 최첨단 모델들이 매우 유능하지만, 복잡하고 장기적인 상태 의존성을 관리할 때 근본적인 아키텍처 제약으로 인해 여전히 한계가 있음을 강조합니다. 이 벤치마크는 연구자들이 새로운 순환 및 하이브리드 아키텍처를 평가할 수 있는 프레임워크를 제공하며, 더 강력하고 긴 문맥 추론이 가능한 시스템 개발을 안내하는 도구 역할을 합니다. 향후 연구는 문서 전반에 걸쳐 새로운 변수가 도입되는 동적 엔티티 생성 처리와 같이 현재 프레임워크의 한계를 해결하는 것을 목표로 합니다.