Mixture-of-Experts 모델을 위한 고차 전문가 가지치기(HOPE)

MoE 메모리 병목 현상 이해

Qwen3.5-122B와 같은 Mixture-of-Experts(MoE) 모델은 토큰당 소수의 전문가만 활성화됨에도 불구하고 종종 수백 개의 전문가를 메모리에 저장합니다. 많은 아키텍처에서 전문가 MLP는 전체 매개변수 메모리 점유율의 최대 95%를 차지합니다. 전문가 가지치기는 재학습이나 동적 오프로딩 없이 이 점유율을 줄이는 효과적인 전략이지만, 기존의 1차 방법론들은 전문가를 독립적인 개체로 취급하여 성능을 저하시키는 경우가 많습니다. 이러한 방법들은 전문가들이 종종 모델의 능력을 유지하기 위해 함께 보존되어야 하는 안정적이고 협력적인 그룹을 형성한다는 사실을 고려하지 못합니다.

HOPE 접근 방식: 전문가 상호작용 고려

HOPE(Higher-Order Pruning of Experts)는 쌍별 전문가 상호작용을 모델링하여 1차 가지치기를 개선합니다. HOPE는 각 전문가에게 단일 스칼라 중요도 점수를 할당하는 대신, 전문가 쌍의 공동 활성화 패턴과 공동 기여도를 포착하는 상호작용 행렬 $F$를 구성합니다.

가지치기 오류의 상한을 결정하는 대리 목적 함수를 최소화함으로써, HOPE는 이차 계획법(QP)을 해결하여 제거할 최적의 전문가 세트를 식별합니다. $F$ 행렬의 대각선은 개별 중요도를 포착하며(REAP와 같은 기존 방법과 유사), 비대각선 항목은 협력 관계의 강도를 정량화합니다. 이를 통해 알고리즘은 개별적으로 높은 점수를 받은 전문가라도 그 제거가 중요한 협력 클러스터에 불균형적인 손상을 줄 경우 이를 희생시킬 수 있습니다.

성능 및 벤치마킹

HOPE는 다양한 모델 및 보정 데이터셋 전반에서 REAP, MAN, EAN을 포함한 1차 기준 모델보다 우수한 성능을 보여줍니다. 주요 결과는 다음과 같습니다.

규모에 따른 효율성: HOPE의 장점은 협력 구조의 보존이 중요한 높은 가지치기 비율(40% ~ 50%)에서 더욱 두드러집니다.
에이전트 작업 우수성: 복잡한 다단계 추론과 도구 사용이 필요한 SWE-Bench Pro 벤치마크에서, HOPE로 가지치기된 모델은 1차 방법으로 가지치기된 모델보다 훨씬 뛰어난 성능을 보입니다. 예를 들어, HOPE를 사용하여 50% 가지치기된 Qwen3.5-35B 모델은 42.3점을 기록하여 가지치기되지 않은 모델의 성능과 사실상 동일한 결과를 달성했습니다.
무시할 수 있는 오버헤드: 이 방법은 데이터에 대한 단일 보정 패스만 필요하며, 이후 레이어당 1~2초가 소요되는 표준 QP 솔버 실행이 이어지므로 배포에 매우 실용적입니다.

구현 및 워크플로우

HOPE 파이프라인은 공식 HOPE GitHub repository에서 지원하는 세 가지 단계로 구성됩니다.

보정(Calibration): 보정 데이터에 대한 순방향 패스를 통해 전문가 선택, 게이트 가중치, 출력 노름을 기록하여 $F$ 행렬을 생성합니다.
해결(Solving): 시스템이 이진 이차 계획법을 해결하여 제거할 전문가를 정의하는 pruneset.json 파일을 생성합니다.
가지치기(Pruning): 생성된 세트를 기반으로 모델을 가지치기하여 메모리와 디스크 공간을 적게 차지하는 표준 Hugging Face 체크포인트를 생성합니다.

한계 및 향후 전망

HOPE는 40-50% 가지치기에서 매우 효과적이지만, 낮은 가지치기 비율(10-20%)에서는 성능 향상이 다소 미미합니다. 또한 현재 구현은 레이어 간의 잠재적인 상호작용을 무시하고 레이어를 독립적으로 가지치기합니다. 레이어 간 가지치기를 위한 이론적 프레임워크는 존재하지만, 아직 초기 단계에 머물러 있습니다. 향후 연구에서는 가지치기 과정을 더욱 정교하게 만들기 위해 고차 상호작용(삼중항 이상)을 통합하는 방안을 탐색할 수 있으나, 이는 상당한 조합적 문제를 야기합니다.