Reflection Beam 1.0: 501B 오픈 MoE 모델, 1M 컨텍스트, Apache 2.0
Reflection의 Beam-1.0-501B-A23B는 토큰당 230억 개의 활성 파라미터, 100만 토큰 컨텍스트 창, Apache 2.0 라이선스를 갖춘 5010억 파라미터 규모의 오픈 혼합 전문가 모델입니다. 이는 미국의 신생 연구소 Reflection의 첫 번째 모델로, 프론티어 규모에서 코딩 및 에이전트 워크로드를 겨냥하면서도 팀이 이미 보유한 하드웨어에서 배포 및 파인튜닝이 가능하다는 점에서 중요합니다.
Beam은 텍스트 입력, 텍스트 출력 전용입니다. 전용 오픈소스 Rust 기반 하네스, 네이티브 transformers 지원, vLLM 및 SGLang과의 출시일(day-0) 통합이 함께 제공됩니다. Hugging Face와 Reflection은 또한 이 모델에 대한 추론, 지도 파인튜닝(SFT), 강화 학습(RL) 레시피를 공개했습니다.
주요 사양 한눈에 보기
Beam은 희소 MoE 모델로, 각 토큰이 네트워크의 일부만으로 계산되므로 훨씬 작은 모델의 속도로 실행되면서도 큰 모델의 용량을 유지합니다.
- 총 5010억 파라미터, 토큰당 230억 활성
- 52개 레이어, MoE 레이어당 256개 전문가, 토큰당 8개 라우팅
- 텍스트 입력, 텍스트 출력, 100만 토큰 컨텍스트 창
- 체크포인트 형식: BF16, FP8, NVFP4
- 추론 노력 값: "low", "medium"(기본값), "high", "xhigh", "max"
preserve_thinking을 통해 턴 간 컨텍스트에 유지되는 추론- 전용 문법을 사용한 도구 호출
- 토크나이저에 저장된 응답 템플릿
- DFlash2를 사용한 추측 디코딩 드래프터 모델
- 출시일 라이브러리: transformers, SGLang, vLLM; Miles를 사용한 전체 파라미터 RL
- Apache 2.0 라이선스
아키텍처: 하이브리드 어텐션, 그룹 전문가, 상수 스케일 잔차 스트림
Beam의 디코더는 히든 크기 5,120의 52개 레이어로 구성됩니다. 처음 3개 레이어는 밀집 SwiGLU MLP를 사용하고, 나머지 49개 레이어는 Mixture-of-Experts 블록으로 대체합니다.
하이브리드 어텐션: 슬라이딩 윈도우 43개 레이어와 글로벌 9개 레이어
대부분의 레이어는 이전 512개 토큰에 대해 슬라이딩 윈도우 어텐션을 사용합니다. 여섯 번째 레이어마다, 그리고 마지막 레이어는 전체 컨텍스트에 어텐션을 수행합니다. 이로써 슬라이딩 윈도우 43개 레이어와 글로벌 9개 레이어가 생성됩니다.
두 레이어 유형은 위치를 다르게 처리합니다. 슬라이딩 윈도우 레이어는 RoPE를 사용하는데, 짧은 윈도우 내에서는 상대적 위치가 가장 중요하기 때문입니다. 글로벌 레이어는 위치 인코딩을 전혀 사용하지 않습니다. 대신 각 쿼리는 보이는 토큰 수에 따라 천천히 증가하는 스케일러, (1 + (pos + 1) / 2048) ** 0.1로 곱해집니다. 구현에서는 이를 scalable-softmax 쿼리 스케일링이라고 부르며, 이는 온도처럼 작용하여 컨텍스트가 길어져도 소프트맥스가 평평해지지 않고 정밀도를 유지합니다.
어텐션은 48개의 쿼리 헤드와 8개의 키-값 헤드를 가진 그룹 쿼리 어텐션을 사용하며, 쿼리와 키에 RMSNorm이 적용됩니다. 레이어 입력에서 계산된 학습된 시그모이드 게이트는 출력 프로젝션 전에 모든 헤드의 모든 채널을 스케일링합니다.
Mixture of Experts: 256개 전문가, 토큰당 8개 라우팅
49개의 MoE 레이어 각각에는 256개의 전문가가 있으며, 각 전문가는 중간 크기 2,560(약 3,900만 파라미터)의 SwiGLU MLP입니다. 전문가는 모델 파라미터의 98.4%를 차지합니다.
라우터는 DeepSeek-V3의 그룹 제한 방식을 따릅니다. 시그모이드로 256개 전문가를 모두 점수화하고, 32개씩 8개 그룹으로 나눈 다음, 각 그룹의 상위 2개 점수의 합으로 순위를 매겨 최상위 4개 그룹을 유지하고, 그 안에서 상위 8개 전문가를 선택합니다. Beam은 DeepSeek-V3와 동일한 그룹 크기를 사용하지만 공유 전문가는 없습니다. 전문가 출력은 정규화된 라우터 가중치로 결합되고 2.5로 스케일링됩니다.
토큰당 8개 전문가만 실행되므로 모델은 각 토큰을 약 230억 파라미터로 계산합니다. 256개 전문가 모두 메모리에 유지되므로 배포에는 5010억 파라미터 모델의 메모리가 필요하지만 230억 모델의 속도로 실행됩니다. BF16 체크포인트는 safetensors 형식으로 약 1TB입니다. NVFP4 체크포인트는 NVIDIA Blackwell GPU용으로 대부분의 파라미터를 4비트 정밀도로 저장하며, 일부 파라미터는 정확성을 위해 BF16으로 유지됩니다. FP8 체크포인트도 Hub에 있으며 Hopper 및 Ampere 시리즈 칩에 이상적이라고 설명됩니다.
잔차 스트림: 깊이 종속 가중치로 히든 상태를 일정한 스케일로 유지
Beam의 잔차 연결은 가장 독특한 아키텍처 특징입니다. 표준 트랜스포머는 각 서브레이어 출력을 가중치 1로 스트림에 추가하므로 스트림이 깊이에 따라 커집니다.
Beam은 입력 임베딩을 1단계로 계산합니다. 단계 k에서 서브레이어 출력을 가중치 1/sqrt(k)로 추가하고 기존 스트림을 가중치 sqrt((k-1)/k)로 유지합니다. 두 가중치의 제곱의 합은 1이므로 스트림은 첫 번째 레이어부터 마지막 레이어까지 일정한 스케일을 유지합니다. 총 104번의 추가 후에 모든 서브레이어 출력과 입력 임베딩은 최종 히든 상태에서 동일한 가중치를 갖습니다.
모든 서브레이어는 또한 전후로 정규화되며, 최종 로짓은 FP32로 계산된 ±30의 tanh 소프트캡을 통과합니다. 구현은 FP32로 계산되는 위치를 고정합니다: 라우터, SwiGLU 곱, 정규화, RoPE, 쿼리 스케일링, 소프트캡.
긴 컨텍스트: KV 캐시가 단순 비율의 약 1/6로 증가
하이브리드 어텐션은 Beam의 100만 토큰 컨텍스트를 실용적으로 만드는 요소입니다. 각 레이어는 토큰당 2 x 8 KV 헤드 x 128 차원 = 2,048 값을 캐시합니다. 52개 레이어 모두가 모든 토큰을 유지한다면 캐시는 토큰당 208KiB씩 증가합니다. 글로벌 9개 레이어만 전체 시퀀스를 유지하고, 슬라이딩 윈도우 43개 레이어는 각각 고정 512토큰 윈도우를 보유하여 증가를 멈춥니다. 따라서 캐시는 토큰당 36KiB씩 증가하며, 이는 단순 비율의 약 1/6입니다.
| 컨텍스트 | 52개 레이어 모두 글로벌인 경우 | Beam |
|---|---|---|
| 32K 토큰 | 6.5 GiB | 1.2 GiB |
| 128K 토큰 | 26 GiB | 4.6 GiB |
| 전체 컨텍스트 (1M) | 208 GiB | 36.08 GiB |
이 숫자는 시퀀스당 BF16 기준이며 transformers 동적 캐시를 사용합니다.
BF16, FP8, NVFP4 벤치마크 결과
다음 결과는 Reflection 팀이 제공한 것입니다. 양자화는 세 가지 체크포인트 형식 간에 정확도 손실이 거의 없습니다.
| 벤치마크 | Beam (BF16) | Beam (FP8) | Beam (NVFP4) |
|---|---|---|---|
| 에이전트 코딩 / 터미널 | |||
| DeepSWE v1.1 | 43.3% | 43.0% | 42.7% |
| SWE Bench Pro v2-Hard | 76.5% | 78.4% | 78.6% |
| SWE Bench Pro v1 | 66.1% | 65.9% | 65.6% |
| Terminal Bench v2.1 | 80.1% | 78.9% | 78.2% |
| SWE Atlas Codebase QnA | 31.8% | 32.2% | 31.4% |
| SWEBench Multilingual | 78.3% | 78.1% | 77.5% |
| SWEBench Verified | 81.6% | 80.2% | 80.7% |
| 추론 | |||
| AIME 2026 | 97.7% | 98.0% | 97.5% |
| HLE (도구 없음) | 36.0% | 36.0% | 34.8% |
| HLE (도구 사용) | 51.1% | 51.1% | 51.1% |
| SciCode | 49.2% | 48.3% | 46.9% |
| CriPT AA | 16.3% | 17.4% | 15.4% |
| GPQA Diamond | 90.6% | 90.3% | 89.3% |
| LiveCodeBench | 88.3% | 88.1% | 87.4% |
| 도구 호출 / 검색 | |||
| AutomationBench (공개 분할만) | 39.3 | 38.2 | 39.8% |
| MCP Atlas | 80.8% | 81.5% | 80.5% |
| Tau3 Banking | 36.1% | 36.8% | 35.4% |
| BrowseComp w/ 컨텍스트 관리 | 76.8% | 76.7% | 75.6% |
| DeepSearchQA w/ 컨텍스트 관리 | 80.5% | 79.6% | 81.1% |
| 일반 능력 | |||
| AA-LCR | 78.2% | 79.4% | 78.7% |
| LongBench v2 | 67.5% | 67.6% | 67.2% |
| IFBench | 79.6% | 80.7% | 79.2% |
| AA Omniscience (인덱스, 공개 분할만) | 10.8 | 8.8 | 9.8 |
하드웨어 요구 사항: NVFP4가 가장 실용적인 서빙 경로
Beam을 서빙하는 가장 실용적인 방법은 NVFP4 체크포인트로, 5010억 파라미터를 BF16의 1TB에서 약 280GB로 줄이면서도 BF16 체크포인트의 품질을 대부분 유지합니다. Blackwell GPU는 NVFP4를 네이티브로 실행하지만 H200과 같은 Blackwell 이전 GPU는 실행할 수 없습니다. FP8 체크포인트는 Blackwell 이전 하드웨어를 위한 옵션입니다.
B200은 HBM3e 180GB를 갖추고 있어 두 개(360GB)로 Beam 가중치를 담을 수 있지만 활성화 및 KV 캐시를 위한 공간은 거의 없습니다. 지침은 4개의 B200(720GB)을 계획하는 것으로, 긴 컨텍스트와 동시 요청을 위한 공간을 확보합니다. Beam은 또한 8xB200 노드 전체, 각각 288GB인 B300 2개, 또는 8xRTX Pro 6000에서 서빙할 수 있습니다. Blackwell 하드웨어가 없는 팀은 Hugging Face Inference Providers를 통해 모델을 테스트할 수 있습니다.
추론 지원: transformers, vLLM, SGLang 출시일 지원
Beam은 transformers, SGLang, vLLM에서 출시일부터 지원됩니다.
Transformers
최신 transformers 릴리스를 설치하세요:
pip install -U "transformers>=5.20.1"
가장 쉬운 진입점은 텍스트 생성 파이프라인으로, Beam의 응답이 응답 템플릿으로 이미 파싱된 전체 채팅을 반환합니다. 더 낮은 수준의 제어를 위해서는 AutoModelForCausalLM 및 AutoTokenizer를 사용하세요.
Beam의 토크나이저는 응답 템플릿을 포함합니다. parse_response는 이를 읽고 원시 출력을 추론, 답변, 도구 호출을 별도 필드로 가진 메시지 사전으로 변환하여 추론과 답변, 도구 호출을 분리하는 일반적인 정규식을 피합니다. 규칙이 토크나이저와 함께 제공되므로 파싱된 구조는 Beam이 생성하도록 훈련된 것과 일치합니다. 채팅 템플릿은 어시스턴트 턴의 일부를 미리 작성할 수 있으며, 파서가 이를 확인해야 합니다.
도구 호출의 경우 tools를 parse_response에도 전달하세요. Beam은 자체 XML 스타일 문법으로 도구 호출 인수를 인라인으로 작성하므로 단순한 7은 숫자 또는 문자열일 수 있습니다. 도구 스키마를 사용하면 파서가 각 인수를 선언된 유형으로 캐스팅합니다.
transformers에서 멀티 GPU 및 멀티 노드
Beam의 구성은 전문가 병렬 계획을 정의합니다. 전문가 병렬 처리는 각 전문가를 하나의 장치에 배치하고, 어텐션, 밀집 레이어, 임베딩, LM 헤드는 모든 장치에 복제됩니다. 이는 80억 파라미터, BF16에서 16GB입니다. 로딩은 tp_size와 ep_size를 월드 크기로 설정한 DistributedConfig를 사용합니다. 16개의 H200 GPU에서 torchrun으로 실행하면 각 GPU가 78GB의 가중치를 보유하고, 8개 GPU에서는 각각 139GB를 보유하여 141GB H200에 공간이 없습니다. 장치 수는 전문가 수인 256을 나눌 수 있어야 합니다.
vLLM
Beam은 vLLM에서 출시일부터 지원됩니다. 이 명령은 16개 GPU(8x H200 노드 2개)에 텐서 병렬 처리를 사용하여 BF16 체크포인트를 서빙하고 OpenAI 호환 API를 노출합니다:
vllm serve reflection/Beam-1.0-501B-A23B --tensor-parallel-size 16 --served-model-name beam
더 빠른 생성을 위해 DFlash2 추측 디코딩을 추가하세요. 작은 드래프터 모델이 최대 15토큰 앞을 제안하고 Beam이 한 번의 순방향 패스로 모두 확인하므로 각 단계에서 여러 토큰을 수용할 수 있습니다. 비용은 드래프터를 위한 약간의 추가 메모리입니다:
vllm serve reflection/Beam-1.0-501B-A23B \
--tensor-parallel-size 16 \
--speculative-config '{ "method": "dflash", "model": "reflection/dflash2-drafter-preview", "num_speculative_tokens": 15 }'
두 명령 모두 OpenAI 호환 서버를 시작하므로 모든 OpenAI 클라이언트가 http://localhost:8000/v1을 가리킬 수 있습니다.
SGLang
Beam은 SGLang에서도 출시일부터 지원되며, 권장 구성은 DFlash2 추측 디코딩을 켭니다. Blackwell에서는 NVFP4 체크포인트가 4개의 B300에 맞습니다:
python -m sglang.launch_server \
--model-path reflection/Beam-1.0-501B-A23B-NVFP4 \
--served-model-name beam \
--tp 4 \
--attention-backend trtllm_mha \
--page-size 64 \
--context-length 1048576 \
--mem-fraction-static 0.85 \
--enable-unified-memory \
--speculative-algorithm DFLASH \
--speculative-draft-model-path reflection/Beam-1.0-501B-A23B-DFlash2 \
--speculative-dflash-block-size 8 \
--tool-call-parser beam --reasoning-parser beam \
--host 0.0.0.0 --port 30000
Hopper GPU에서는 대신 8개의 H200에서 FP8 체크포인트를 사용하세요. 세 가지 플래그만 변경됩니다: 체크포인트, 텐서 병렬 크기(4 대신 8), 어텐션 백엔드(trtllm_mha 대신 fa3, Blackwell 필요).
Inference Providers 및 Inference Endpoints
Beam은 Baseten, Fireworks, Together가 지원하는 Hugging Face Inference Providers에서 사용할 수 있으며, 더 많은 제공자가 추가될 예정입니다. OpenAI 호환 라우터 https://router.huggingface.co/v1에서 모델 ID reflection/Beam-1.0-501B-A23B:auto를 사용하여 접근할 수 있습니다.
Hugging Face는 또한 카탈로그에서 FP8 또는 NVFP4로 Inference Endpoints에 원클릭 배포를 위한 Beam 레시피를 설정했으며, hf CLI를 통해서도 가능합니다:
hf endpoints catalog deploy --repo reflection/Beam-1.0-501B-A23B --name beam
Vibe 평가: 낮은 및 높은 추론 노력에서 다섯 가지 작업
Hugging Face는 벤치마크가 아닌 소위 vibe 평가를 다섯 가지 작업에 대해 Reflection 플랫폼을 통해 낮은 및 높은 추론 노력으로 각각 한 번씩 실행했습니다. 전체 입력, 출력, API 사용량, 작업 픽스처, 채점기, 대화 추적은 공개 Hugging Face 버킷에 있습니다.
| 카테고리 | 프롬프트 설명 | 낮은 추론 (토큰) | 높은 추론 (토큰) |
|---|---|---|---|
| 다단계 도구 호출 | ORD-742 이행: 재고, 예약, 할증료, 도착 날짜 비교; 가장 저렴한 적격 창고 예약. | 통과, 544 | 통과, 811 |
| 코드 베이스에 대한 긴 컨텍스트 검색 | 세 개의 전체 소스 파일에서 Click 명령 구성 및 두 가지 호출 결과 도출; 여섯 가지 구현 심볼 인용. | 실패, 1,613 | 통과, 5,007 |
| 샌드박스에서 터미널 작업 | CSV 원장 CLI 검사 및 수리; 모든 버그 수정, 테스트 보존, 테스트 및 CLI 검사 실행. | 통과, 582 | 통과, 1,548 |
| 수학 추론 (AIME 스타일) | {1, …, 16}의 8개 요소 부분집합 중 합이 17로 나누어지는 것은 몇 개인가? 정당화 제시. | 부분, 829 | 통과, 2,809 |
| 구조화된 출력 | 순서가 잘못된 수정 로그를 엄격한 JSON으로 변환: 패치, 취소, null, 날짜, 통화, 합계 병합. | 통과, 1,040 | 통과, 2,088 |
소스에는 두 가지 주의 사항이 문서화되어 있습니다. 낮은 노력의 긴 컨텍스트 작업에서 응답은 모든 코드 동작과 여섯 가지 소스 인용이 정확했지만 파서 형식과 일치하지 않았으며, 저자는 이를 부분적으로 프롬프트 모호성 때문으로 돌립니다. 낮은 노력의 수학 작업에서 모델은 정답을 반환했지만 요청된 정당화를 생략했으며, 높은 노력 실행은 독립적으로 검토된 올바른 근의 단위 증명을 제공했습니다.
사후 훈련: TRL을 사용한 SFT 및 Miles를 사용한 GRPO
Beam은 사용자 정의 사용 사례에 맞게 파인튜닝할 수 있으며, Hugging Face는 지도 파인튜닝 및 강화 학습을 위한 TRL 및 Miles 예제를 공개했습니다.
TRL을 사용한 SFT
Beam을 자체 데이터에 적응시키는 가장 빠른 방법은 TRL의 SFTTrainer를 사용한 지도 파인튜닝입니다. 메모리를 관리 가능하게 유지하기 위해 공개된 예제는 5010억 파라미터 전체를 업데이트하는 대신 PEFT로 LoRA 어댑터를 훈련합니다. 목표는 사용자가 요청한 언어로 Beam의 추론을 유지하면서 Multilingual-Thinking 데이터셋으로 LoRA를 파인튜닝하는 것이었으며, 기본 모델을 고정한 채 소량의 어댑터 가중치를 훈련합니다.
설정은 로드 시 모델 샤딩, 전문가 병렬 처리, FlashAttention 4, 시퀀스 패킹을 결합합니다. LoRA SFT는 8개의 B300 GPU가 있는 단일 노드에 맞으며 초당 약 19,000토큰에 도달합니다. 해당 H100 설정은 4개 노드를 사용합니다.
Multilingual-Thinking의 1에폭 후 Beam은 16개의 보류된 프롬프트 중 16개에서 요청된 언어로 추론했으며, 기본 모델은 16개 중 3개였습니다. 소스는 이 작은 평가가 언어 준수를 측정하는 것이지 추론 자체의 정확성을 측정하는 것이 아니라고 언급합니다.
Miles를 사용한 GRPO
Reflection과 RadixArk는 BF16에서 Miles로 GRPO를 사용하여 모델을 훈련하는 레시피를 구축했습니다. 전체 모델을 업데이트하거나 LoRA를 사용하여 기본 가중치를 고정한 채 어댑터를 훈련할 수 있습니다. Megatron이 훈련하고, SGLang이 롤아웃을 생성하며, Miles는 각 업데이트 후 새 가중치를 롤아웃 엔진에 게시합니다.
| 워크로드 | 참조 구성 |
|---|---|
| 추론 / 평가, BF16 | 엔진당 16x H200 |
| 전체 파라미터 GRPO, BF16 (Miles) | 96x H200: 64 훈련, 32 롤아웃. 또는 64x H200 공동 배치. |
| LoRA GRPO, BF16 (Miles) | 32x H200: 16 훈련, 16 롤아웃. |
| 전체 파라미터 GRPO, BF16, 128토큰 컨텍스트 (Miles) | 48x H200: 32 훈련, 16 롤아웃. Reflection과 RadixArk가 실제 체크포인트에서 처음 검증한 설정. |
레시피는 DAPO-Math-17K에서 GRPO를 실행하고 AIME25에서 평가합니다. 롤아웃은 다음과 같이 작동합니다:
- 샘플: 32개 프롬프트가 모델에 전달되고 각각 8개 응답이 생성됩니다. 두 개의 SGLang 엔진이 각각 16개 GPU에서 롤아웃을 서빙합니다.
- 점수: 박스형 답변이 레이블과 비교되며, 길이 제한에 가까운 응답에는 소프트 페널티가 적용됩니다.
- 업데이트: 모든 256개 샘플에 대해 한 번의 옵티마이저 단계, 그룹 상대 이점과 절단된 중요도 샘플링을 사용하고 KL 또는 엔트로피 페널티는 없습니다.
- 병렬 훈련: 텐서 병렬 8, 전문가 병렬 8, 데이터 병렬 8, 시퀀스 병렬 및 전체 재계산.
- 옵티마이저: 상수 1e-6의 Adam. 기울기는 BF16, 마스터 가중치는 FP32, 모멘트는 BF16. 옵티마이저 상태는 노드 로컬 NVMe를 통해 스트리밍되므로 각 훈련 노드에는 2TB의 스크래치가 필요합니다.
- 평가: 5회 롤아웃마다 AIME25, 문제당 8개 샘플. 20회마다 체크포인트 저장.
현재 롤아웃이 훈련되는 동안 다음 롤아웃이 생성되므로 응답은 한 업데이트 뒤처집니다. --resume를 추가하면 마지막 체크포인트에서 계속되고, execute-colocate는 8개 노드에서 모든 GPU가 번갈아 훈련 및 서빙하는 동일한 레시피를 실행합니다.
전체 파라미터 GRPO는 4,000토큰 출력 제한으로 AIME 2025 정확도를 46.25%에서 55.8%로 높였습니다. Beam의 어텐션, 밀집 MLP, 전문가 레이어에 순위 16 어댑터를 훈련하는 LoRA GRPO는 AIME 2025 정확도를 42.9%에서 64.2%로 높였으며 평균 출력 길이는 3,188에서 2,197토큰으로 감소했습니다. LoRA 레시피에서는 어댑터 가중치만 SGLang과 동기화되고 옵티마이저 상태는 GPU 메모리에 유지되어 NVMe 옵티마이저 오프로딩이 필요 없습니다.
Hugging Face가 Beam으로 구축한 것
Hugging Face는 Beam이 코딩 및 에이전트 모델로서 무엇을 할 수 있는지 보여주기 위해 세 가지 데모 프로젝트를 실행했습니다.
네이티브 macOS 받아쓰기 앱
Beam은 기본 macOS 메뉴 바 받아쓰기 앱인 BeamSpeak을 구축하도록 요청받았으며, 컴팩트한 녹음 필, 기본 창이나 계정이 없습니다. 앱은 ⌘⇧Space로 마이크 녹음을 시작/중지하고, 경과 시간, 마이크 레벨, 전사 상태를 표시하며, MLX를 통한 Parakeet v3를 사용하여 음성 인식을 완전히 로컬에서 실행하고 녹음 사이에 모델을 로드된 상태로 유지합니다. 원래 앱이 포커스를 유지하고 접근성 권한이 부여된 경우 전사를 원래 앱에 붙여넣고, 그렇지 않으면 Enter를 누르지 않고 클립보드에 복사합니다. 빌드는 Pi 코딩 하네스와 함께 Beam을 사용했으며, 저장된 실행에는 후속 프롬프트가 포함되고 최종 소스에는 이후 Codex 수리도 포함됩니다.
ProgramBench에서 멀티 에이전트 확장
Beam이 에이전트 간에 프로그래밍 작업을 분할하여 더 빠른 진행을 하는지 테스트하기 위해 Hugging Face는 Beam을 오픈소스 Pi 코딩 에이전트와 짝지어 세 가지 설정을 비교했습니다: 혼자 작업하는 에이전트 하나, 공유 Git 저장소를 통해 협력하는 다섯 명의 영구 피어, 리드 에이전트가 비동기 하위 에이전트에 작업을 위임하는 설정. 하네스는 Hugging Face 작업에서 Reflection 플랫폼 API를 통한 추론으로 실행되었습니다.
작업은 ProgramBench에서 가져왔으며, 에이전트는 소스 코드나 평가자의 테스트를 보지 않고 컴파일된 실행 파일과 문서에서 프로그램을 재현해야 합니다. 각 설정은 작업당 동일한 8M API 토큰 상한과 2시간 솔버 제한을 가지며 에이전트 간에 공유됩니다. 공개된 결과는 원래 15개 에피소드를 모두 유지하지만, 현재 그림은 jq, xsv, FIGlet, hexyl의 사후 하위 집합을 보여줍니다. ripgrep은 저장된 아티팩트 채점이 너무 느려 세 설정 모두에서 제외되었습니다. 시간 축은 경과 벽시계 시간이 아닌 모델 토큰의 고정 참조 속도와 측정된 도구 시간을 사용합니다.
파인튜닝된 인시던트 트리아지 결정 모델
Hugging Face는 코딩 에이전트가 인시던트 트리아지 정책을 작고 빠른 결정 모델로 전환할 수 있는지 테스트했습니다. 작업은 개발자 인시던트를 읽고 책임 팀, 심각도, 즉시 핑 여부를 선택하는 것이었습니다. 워크플로는 Beam으로 시작한 후 Beam의 할당량이 소진된 후 Pi에서 GLM-5.3으로 계속되었습니다.
Unsloth를 사용하여 팀은 Qwen3.5-0.8B를 파인튜닝하여 이러한 선택을 직접 점수화했습니다. 워크플로는 먼저 훈련, 보정, 테스트를 위해 인시던트 클러스터로 분할된 2.3k 인시던트의 합성 데이터셋을 구축한 다음, Science Slurm 클러스터의 H100 80GB 하나에서 4비트 백본으로 3에폭 동안 LoRA 어댑터와 결정 헤드를 훈련했습니다. 기준선으로, 적응되지 않은 모델은 전체 트리아지 정책과 티켓을 예제 없이 프롬프트하고 세 가지 결정을 JSON으로 생성하도록 요청받았습니다. 동일한 320개의 합성 테스트 티켓에서 파인튜닝된 결정 모델은 세 가지 답변 모두 76.25%에서 정확했고, 프롬프트된 제로샷은 4.69%였으며, 평균 티켓 지연 시간은 1,218.06ms에서 102.58ms로 11.9배 빨라졌습니다.
Beam으로 구축: $10,000 Hub 크레딧 프로그램
Reflection은 Beam을 사용하는 최고의 프로젝트에 Hugging Face Hub 크레딧 $10,000를 제공합니다. 참가하려면 Space, 모델 또는 데이터셋 저장소를 구축하고 모델의 저장소 페이지에 공유하세요. 제안된 프로젝트 유형에는 Spaces에서 Beam을 사용하는 데모, 선호하는 하드웨어용 양자화, 특정 문제에 대한 합성 데이터셋, Beam으로 또는 Beam용으로 구축된 RL 환경, 또는 결과를 공유하는 Beam 벤치마크가 포함됩니다.
Beam이 오픈 모델 배포에 의미하는 것
Beam의 중요성은 프론티어 규모의 파라미터를 Apache 2.0 라이선스 하에 두면서 프론티어 규모 클러스터를 요구하지 않는 배포 경로를 제공한다는 점입니다. 토큰당 230억 활성 파라미터, 단순 비율의 약 1/6로 증가하는 KV 캐시, 약 280GB의 NVFP4 체크포인트의 조합은 4-B200 구성이 서빙의 실용적 목표이며, H200에서 FP8이 Blackwell 이전 대안입니다.
모델은 텍스트 전용이며 일반 멀티모달 사용보다 코딩 및 에이전트 작업을 목표로 합니다. 도구 선택(토크나이저의 응답 템플릿, 전용 도구 호출 문법, 5가지 추론 노력 수준, 턴 간 지속되는 추론을 위한 preserve_thinking)은 모두 단일 턴 채팅보다 다단계 에이전트 루프에 맞춰져 있습니다.