Reflection Beam 501B 오픈웨이트 모델: 아키텍처, 훈련 및 초기 벤치마크

핵심 요약

Reflection의 Beam 모델은 5010억 파라미터의 희소한 전문가 혼합(MoE) 아키텍처를 도입하며, 추론 시에는 단지 230억 파라미터만 활성화됩니다. 이는 더 큰 프론트라인 모델과 비슷한 코딩 및 에이전트 기능을 제공하면서도, 토큰당 계산량을 3~4배 줄여줍니다.

모델 개요

Beam이란 무엇인가 – Beam은 Reflection의 첫 번째 오픈웨이트 모델로, 총 5010억 파라미터를 가진 희소 MoE 아키텍처이며, 토큰당 약 230억 파라미터만 활성화됩니다. 이 모델은 코딩, 추론, 에이전트(도구 사용) 작업 세 가지 유형을 대상으로 합니다.

아키텍처의 중요성 – 각 토큰마다 소수의 전문가만 활성화함으로써 Beam은 추론에 필요한 FLOP 수를 줄입니다. 저자들은 GLM-5.2보다 3~4배 더 낮은 계산량을 달성했으며, Qwen-3.8-Max과 같은 2조 이상 파라미터 모델과 비교해 더욱 큰 효율성 향상을 이뤘다고 주장합니다.

사전 훈련 기반

데이터 양 – 웹 소스, 고유 라이선스 데이터셋, 그리고 광범위한 코드 컬렉션에서 수집한 23.8조 토큰.
계산 예산 – 6,144개의 NVIDIA GB300 NVL72 GPU를 사용해 사전 훈련을 4주 미만에 완료했으며, 최종 단계에서 92.3%의 우수한 성과를 달성했습니다.
품질 중심 파이프라인 – 맞춤형 분류기로 웹, 코드, 과학기술 콘텐츠를 필터링하고 재가중했습니다. 일반적인 파이프라인에서 버려지는 1.8조 토큰의 고품질 데이터를 보존했으며, 원시 인터넷 토큰의 약 95%는 폐기되었습니다.
MoE 안정성 – 보조 손실 없이 로드 밸런싱, 코사인 감쇠 전문가 편향 업데이트, 시퀀스 수준 밸런싱을 통해 전문가 사용률이 거의 균일했습니다(활성 전문가 부하 1.04배). 잔차 스트림 스케일링, SandwichNorm, FP32 누적을 통해 52층에 걸쳐 활성화 노름을 제한했습니다.

고계산량 강화학습(RL)

규모 – 10.5K개의 NVIDIA GB300 GPU가 4주간 작동하여 약 100만 개의 사전 환경에서 >1억 개의 롤아웃을 생성했으며, 최대 컨텍스트 길이는 256K 토큰입니다.
알고리즘적 진보 – 정책 지연(최대 1일 전의 샘플)과 수치 불일치를 처리할 수 있는 비동기 정책-그라디언트 훈련을 통해, 큰 롤아웃 지연에도 불구하고 안정성을 유지했습니다.
효율성 향상 – 조절 가능한 길이 페널티를 통해 초기 RL 단계에서 토큰 효율적인 해결책을 장려했으며, 후반에는 더 긴 추론이 어려운 작업에서 성능을 향상시켰습니다. 이로써 사용자가 조절 가능한 "추론 노력" 파라미터를 사용할 수 있게 되었습니다.
일반화 – 코딩 및 터미널 작업에서의 RL 훈련이, RL 혼합에 포함되지 않은 웹 브라우징 및 OCR과 같은 새로운 도메인으로도 전이되었습니다.

벤치마크 성능

코딩 및 에이전트 작업 (선택적 결과)

벤치마크	Beam	Inkling	Nemotron 3 Ultra	GLM 5.2	GLM 5.3	Kimi K3	Qwen 3.8 Max	DeepSeek V4.1 Flash
DeepSWE v1.1	44.4	NR	NR	44.0	61.0	68.0	51.0	74.2
SWE Bench Pro v2-Hard	77.2	56.9	NR	NR	84.3	88.2	NR	NR
Terminal Bench v2.1	80.1	63.8	56.4	81.0	88.2	88.3	86.6	90.6
SWEBench Verified	80.9	77.6	70.7	NR	NR	NR	NR	NR

해석 – Beam은 여러 코딩 벤치마크에서 GLM-5.2와 동등하거나 이를 초과하지만, 추론 계산량은 훨씬 적습니다. 가장 큰 오픈 모델들(예: Kimi K3, DeepSeek V4.1 Flash)의 점수는 떨어지지만, 토큰당 FLOPs가 낮아 효율성이 뛰어납니다.

프론트라인 규모 RL을 위한 인프라

비동기 실행 – 새로운 정책 체크포인트가 게시되는 동안 롤아웃이 계속됩니다. 각 토큰은 해당 버전을 기록합니다.
동적 계산 자원 할당 – 추론-훈련 GPU 비율은 3.9:1에서 5.4:1 사이로 변동했으며, 트레이너 메시 크기를 재조정해도 상태 손실 없이 작동했습니다.
빠른 가중치 전파 – 새로운 가중치를 추론 풀에 전파하는 중앙값은 12초이며, 크로스 레이크 트래픽을 75% 감소시켜 2.2배의 속도 향상을 달성했습니다.
신뢰성 – 71건의 추론 장애로 인해 GPU-분 소실률은 0.02%에 불과했으며, 중앙 복구 시간은 8분이었습니다.
샌드박스 확장성 – 최대 17만 개의 동시 샌드박스를 지원하며, 여러 클라우드 및 영역에서 >10억 개의 샌드박스 생성 요청을 처리했습니다.

안전성 및 일치성

이중 단계 일치성 – 별도의 SFT + RL 파이프라인으로 안전 중심의 강사 모델을 훈련시켰으며, 두 강사 모델은 다중 강사 온폴리시 디스틸레이션을 통해 병합되었습니다.
일치 원칙 – (1) 안전 규칙을 위반하지 않기; (2) 사실성 및 불확실성 인식과 같은 품질을 일관되게 충족하기; (3) 직접적이고 철저하며 효율적인 상호작용 스타일 채택하기.
보상 모델링 – 검증 불가능한 RL 환경에서는 생성형 보상 모델을 사용했습니다. 보상 예측은 RL 후 개선과 상관관계가 높았으며(r = 0.79), 환각 및 과도한 포맷팅을 체계적으로 줄이는 데 기여했습니다.
성찰적 일치성 – 반복적인 적대적 데이터 수집을 통해 해로운 프롬프트를 생성했으며, 성공한 공격은 SFT에 다시 반영되어 절차적 탈출에 대한 강건성을 향상시켰습니다.

커뮤니티 반응 (Hacker News 요약)

긍정적 의견 – 사용자들은 또 다른 오픈웨이트 경쟁자가 등장한 것을 칭찬하며, 생태계의 경쟁이 중요하다고 강조했습니다.
비판적 의견 – 몇몇 댓글에서는 Beam의 벤치마크 표에서 더 강력한 오픈 모델(예: DeepSeek V4.1 Flash)이 누락되었으며, 모델이 아직 공개적으로 다운로드할 수 없다는 점을 지적했습니다. 즉각적인 검증이 제한됩니다.
하드웨어 우려 – 소비자 등급 하드웨어에서 5010억 파라미터 MoE 모델을 실행하는 것이 가능한지에 대한 질문이 제기되었습니다. 현재 접근 방식은 대기열 API를 통한 것입니다.
지정학적 맥락 – 일부 관찰자는 서방과 중국의 오픈웨이트 노력 간의 차이를 비교하며, 현재 중국 연구소가 원시 능력에서 선도하고 있다고 지적했습니다.

전망

Reflection은 이달 말에 Beam의 가중치를 Apache 2.0 라이선스 하에 공개할 예정이며, 기술 보고서, 모델 카드, 개발자 자산도 함께 제공할 계획입니다. 이 모델은 기업용 코딩 및 에이전트 작업을 위한 "작업용" 모델로 위치지어지며, 원시 크기보다 추론 효율성에 중점을 둡니다. 이후 출시는 동일한 MoE 및 고계산량 RL 인프라를 기반으로 하며, 최상위 프론트라인 모델과의 격차를 좁히는 것을 목표로 합니다.

모든 수치와 벤치마크 데이터는 Reflection의 블로그 포스트 및 관련 Hacker News 토론에서 직접 인용되었으며, 외부 데이터는 추가되지 않았습니다.