Apple MLX 분산 추론 on Mac Studio: Muse Spark Open 816B, 4대의 Mac에서 36+ 토큰/초 실행

Apple의 ML Research 팀은 Mac Studio에서 MLX와 RDMA를 사용한 로컬 및 분산 대규모 LLM 추론에 관한 게시물을 발표했습니다. 핵심 결과: 거의 1조 개의 매개변수를 가진 모델인 Muse Spark Open은 M5 Ultra를 장착한 4대의 Mac Studio 클러스터에서 초당 36개 이상의 토큰을 생성하며, 이는 평균 인간 읽기 속도보다 훨씬 빠릅니다. 분산 기능은 macOS 26.2 및 MLX v0.30.1 이상에서 도입된 Thunderbolt 5를 통한 저지연 RDMA에 의존합니다.

이 게시물은 Apple 실리콘용 오픈소스 배열 프레임워크인 MLX가 통합 메모리를 활용하여 연구자들이 프런티어급 모델을 개인 환경에서 로컬로 실행할 수 있게 하는 방법을 설명합니다. 이는 M5 아키텍처와 GPU 신경 가속기에 대한 이전 Apple ML 게시물에 이어지는 내용입니다.

Apple이 벤치마킹한 세 가지 모델

Apple은 MLX LM 패키지와 mlx_lm.benchmark 도구를 사용하여 다양한 크기에 걸친 세 가지 프런티어급 모델을 평가했습니다. Muse Spark Open은 추론 중에 전문가의 일부(따라서 매개변수의 일부)만 활성화하여 계산을 줄이는 혼합 전문가(MoE) 모델입니다. Mistral Medium 3.5와 Qwen 3.8은 추론 중에 모든 매개변수가 활성화되는 밀집 아키텍처입니다.

모델	총 매개변수	활성 매개변수	기본 정밀도	평가 정밀도
Muse Spark Open	816B	42B	BF16	NVFP4
Mistral Medium 3.5	128B	128B	FP8	FP8
Qwen 3.8	27B	27B	BF16	BF16

Mistral Medium 3.5와 Qwen 3.8은 기본 부동 소수점 정밀도로 평가되었습니다. Muse Spark Open은 4비트 NVFP4 정밀도로 평가되었습니다.

단일 Mac Studio: M5 Ultra 대 M3 Ultra

512GB 통합 메모리를 갖춘 단일 Mac Studio에서 M5 Ultra는 이전 세대 M3 Ultra보다 최대 4.6배 빠른 첫 토큰 시간(TTFT)을 제공합니다. Apple은 이를 M5 세대의 GPU 신경 가속기 덕분으로 돌리며, 전용 행렬 곱셈 연산을 지원합니다. TTFT는 계산 집약적이므로 전용 행렬 곱셈 하드웨어가 프리필 속도를 직접 향상시킵니다.

디코딩 속도는 대신 메모리 대역폭에 의해 제한됩니다. M5 Ultra가 장착된 Mac Studio는 M3 Ultra의 819GB/s에서 증가한 1.2TB/s의 통합 메모리 대역폭을 가지며, Apple은 그 결과 토큰 생성 속도가 1.6배 빨라졌다고 보고합니다.

Qwen 3.8 27B와 Mistral Medium 3.5 128B는 모두 512GB의 단일 Mac Studio에 문제없이 맞으며, 대규모 65,536 토큰 컨텍스트 설정에서 각각 최대 68GB와 158GB를 차지합니다.

최대 전력 소비는 수백 와트 수준 유지

Apple은 65,536 토큰 컨텍스트에서 Qwen 3.8 및 Mistral Medium 3.5 추론 중 최대 전력 소비가 M3 Ultra가 장착된 Mac Studio의 경우 약 200W, M5 Ultra가 장착된 Mac Studio의 경우 약 300W라고 보고합니다. Apple은 이를 "일반적인 토스터가 사용하는 전력의 일부"라고 표현하며, 적당한 소비량 덕분에 Mac Studio를 모든 가정이나 사무실 환경에서 AI 작업에 배포할 수 있다고 주장합니다.

Muse Spark Open이 단일 머신에 맞지 않는 이유

Muse Spark Open은 기본 BF16 정밀도에서 모델 매개변수만으로도 1.6TB 이상의 RAM이 필요합니다. 4비트 NVFP4 형식에서는 메모리 사용량이 약 493GB로 줄어들지만, 추론 중 중간 계산에 필요한 메모리를 추가하면 여전히 단일 머신에 맞지 않습니다. 여러 Mac Studio 컴퓨터에 걸친 병렬화가 필요합니다.

파이프라인 병렬화: 모델을 깊이로 분할

파이프라인 병렬화는 모델의 절반을 한 Mac Studio에, 나머지 절반을 다른 Mac Studio에 저장합니다. 첫 번째 머신은 모델 레이어의 첫 번째 절반을 실행한 다음 출력을 두 번째 머신으로 보내고, 두 번째 머신은 두 번째 절반을 실행합니다. Apple은 이 방식이 최소한의 코드 변경만 필요로 하여 구현하기 매우 간단하다고 설명합니다.

파이프라인 병렬화에서 디코딩 속도는 단일 머신과 매우 유사합니다. 레이어가 여전히 순차적으로 평가되고 두 레이어 세트 사이의 중간 출력만 교환하면 되기 때문입니다. 주목할 만한 예외는 매우 큰 컨텍스트입니다. 65,536 토큰에서 파이프라인 병렬화는 프리필의 경우 단일 노드보다 최대 약 1.8배 빠릅니다. MLX는 큰 컨텍스트를 더 작은 청크(Apple 벤치마크에서는 --prefill-step-size 8192로 설정된 8,192 토큰)로 분할하고 머신 간에 프리필을 파이프라인 처리하므로, 두 번째 머신이 청크 k의 이후 레이어를 계산하는 동안 첫 번째 머신은 청크 k + 1의 이전 레이어를 계산합니다.

텐서 병렬화: 모델을 너비로 분할

텐서 병렬화는 모델의 너비를 여러 컴퓨터에 분산합니다. 각 머신은 모든 레이어의 일부를 보유하므로 레이어별 계산이 병렬화됩니다. Apple은 이 방식이 파이프라인 병렬화보다 구현이 더 복잡하며 많은 소규모 통신 작업을 포함한다고 지적합니다. 각 입력 토큰과 각 레이어에 대해 입력을 브로드캐스트하고 출력을 집계해야 합니다. 따라서 MLX jaccl이 지원하는 Thunderbolt RDMA와 같은 초저지연 통신이 이 접근 방식이 속도 향상을 얻는 데 중요합니다.

Apple은 밀집 아키텍처가 MoE 모델보다 여러 컴퓨터에서 더 잘 확장된다고 보고합니다. 머신 수가 적을 때 텐서 병렬화의 통신 오버헤드는 매우 큰 컨텍스트에서 계산 이점 중 일부를 상쇄할 수 있습니다. 그러나 프리필에만 해당됩니다. 이는 Muse Spark Open에서 나타나는데, 전문가 출력의 별도 정규화가 프리필 통신을 추가하여 65,536 토큰에서 2-머신 텐서 병렬화가 2-머신 파이프라인 병렬화보다 뒤처집니다. 머신을 추가하면 이 접근 방식이 효과를 발휘합니다. 4개의 M5 Ultra가 최상의 결과를 제공합니다. 디코딩은 영향을 받지 않으며, Muse Spark Open은 큰 컨텍스트에서도 텐서 병렬화 하에서 밀집 모델과 비슷한 상당한 디코딩 속도 향상을 유지합니다.

Apple이 보고한 벤치마크 결과

첫 토큰 시간(초), 낮을수록 좋음:

모델	M3 Ultra	M5 Ultra	2 M5 파이프라인	2 M5 텐서	4 M5 텐서
Muse Spark Open	—	—	8.4	8.2	4.8
Mistral Medium 3.5	95.9	24.6	24.5	14.4	7.5
Qwen 3.8	18.2	4.1	4.1	3.1	1.7

디코딩 속도(초당 토큰), 높을수록 좋음:

모델	M3 Ultra	M5 Ultra	2 M5 파이프라인	2 M5 텐서	4 M5 텐서
Muse Spark Open	—	—	15.74	24.99	36.73
Mistral Medium 3.5	4.95	7.70	7.70	13.69	23.37
Qwen 3.8	12.46	19.69	19.44	33.27	50.89

Muse Spark Open은 단일 머신에 맞지 않으므로 기준은 2-M5-Ultra 파이프라인 구성입니다. 디코딩 속도는 컨텍스트 이후 생성된 128개 토큰에 대해 측정되었습니다.

링크당 Thunderbolt 케이블 2개로 프리필 시간 단축

Apple의 설정에서 Mac Studio는 링크 대역폭을 두 배로 늘리기 위해 두 개의 Thunderbolt 케이블로 연결됩니다. 65,536 토큰 컨텍스트에서 4개의 M5 Ultra에서 Muse Spark Open의 경우 링크당 케이블 2개를 사용하면 TTFT가 케이블 1개일 때 약 50.5초에서 40.6초로 단축됩니다. TTFT 표에 보고된 값은 케이블 2개일 때이며, 케이블 1개 실행은 추가 실험입니다.

분산 작업 및 로컬 에이전트 서버 실행 방법

MLX는 여러 노드에서 작업을 실행하기 위한 도우미 명령인 mlx.launch를 제공합니다. 파이프라인 병렬 벤치마크 실행은 다음과 같습니다:

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline

--backend jaccl은 RDMA Thunderbolt 드라이버 백엔드를 선택합니다. --env MLX_METAL_FAST_SYNCH=1은 Thunderbolt 통신을 시작하는 CPU와 계산을 수행하는 GPU 사이의 통신 오버헤드를 줄이는 실험적 MLX 기능인 빠른 CPU-GPU 동기화를 활성화합니다.

로컬 에이전트 코딩의 경우 mlx_lm.server 앞에 mlx.launch를 붙여 여러 Mac Studio에서 계산을 병렬화할 수 있습니다:

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

Apple은 OpenAI 호환 공급자 구성에서 baseURL: http://127.0.0.1:8080/v1을 사용하여 OpenCode 에이전트 코딩 도구를 해당 로컬 서버에 연결하는 방법을 보여줍니다.

Hacker News 토론이 추가하는 내용

게시물에 대한 Hacker News 스레드에는 123개의 댓글이 달렸으며, 가장 유용한 기여는 축하보다는 회의적이었습니다.

벤치마크 비교가 가장 날카로운 비판을 받음

가장 실질적인 비판은 모델 간 정밀도 불일치에 관한 것입니다. 한 댓글 작성자는 Apple이 "Meta의 모델을 4비트로 벤치마킹하면서 Qwen은 기본 BF16(그 외에는 아무것도 표시하지 않음)으로만 벤치마킹하여 Qwen을 상당히 깎아내리고 있다"고 주장했습니다. 같은 댓글 작성자는 4비트는 "대부분의 사용자가 선택할 양자화가 아니다"라고 덧붙였으며 Muse Spark Open은 "512GB M5를 손에 넣었다면 고려할 상위 10개 모델에도 들지 못한다. 또는 그 클러스터라도"라고 말했습니다. 다른 댓글 작성자는 모델 자체에 대해 더 직설적이었습니다: "다른 300B 모델보다 훨씬 성능이 낮은 800B 모델. 음..."

비용과 가치에 대한 질문이 나머지 스레드를 지배

여러 댓글 작성자는 이 게시물을 비싼 하드웨어에 대한 마케팅으로 규정했습니다. 한 명은 "Meta가 오픈 가중치 모델을 만드는 데 수백만/수십억을 쓸 것이고 사람들은 Apple에 20,000달러를 보내서 실행할 것이다. Apple에게 좋은 거래인 것 같다"고 썼습니다. 다른 한 명은 제품 출시 신호로 읽었습니다: "이번 달 말에 나올 그 매우 비싼 Mac을 업셀링할 준비를 하는 거지." 세 번째는 비용 장벽을 직접 지적했습니다: "방향을 보여주는 좋은 기사입니다. 앞으로 Mac Studio가 더 강력해질 것이라고 확신하지만 지금은 로컬 설정에 너무 비쌉니다."

더 낙관적인 댓글 작성자는 장기적인 관점을 취했습니다: "지금은 Mac Studio가 예산 기기가 아니고 보조금이 지급되는 구독보다 확실히 비싸지만, 언젠가 이러한 모델을 상용 하드웨어에서 실행할 수 있다는 약속은 흥미진진합니다."

댓글 작성자들은 대체 하드웨어 결과를 보고

한 댓글 작성자는 Apple 실리콘의 다른 모델에 대한 독립적인 수치를 제공했습니다: "256GiB의 단일 M5 Ultra는 DeepSeek 4.1 Flash 0910을 문제없이 실행합니다(프리필 약 3200 tok/s, 디코딩 약 45 tok/s). 128GiB의 M5 Max는 GLM 5.3 Flash도 문제없이 실행합니다." 그들은 또한 MathArena Apex 및 GPQA Diamond와 같은 품질 벤치마크에서 두 모델을 벤치마킹하여 품질이 공식 수치와 일치하는지 확인했다고 덧붙였습니다.

컨텍스트 크기 및 프레이밍 불만

한 댓글 작성자는 헤드라인의 15-36 토큰/초 수치가 8,192 토큰 컨텍스트에서 측정된 것이라고 지적했습니다: "요즘 유용하려면 그 정도 컨텍스트로는 충분하지 않습니다." 다른 한 명은 4-머신 클러스터를 책상 설정으로 표현한 것에 반대하며 Apple의 "바로 책상에서" 모델 실행이라는 문구를 인용하고 "정확히 평범한 '책상'은 아니지만, 그래도 멋지다"고 말했습니다. 세 번째는 게시물이 코드 참조 외에는 Meta를 언급하지 않고 Meta의 기술을 논의한다고 관찰했습니다. 한 댓글 작성자는 또한 글쓰기 스타일을 지적했습니다: "저는 -- 대시로 -- 가득한 -- 기사를 -- 좋아합니다."

주요 시사점

• Apple의 MLX 분산 추론 스택은 42B 활성 매개변수를 가진 816B 매개변수 MoE 모델인 Muse Spark Open을 M5 Ultra가 장착된 4대의 Mac Studio에서 초당 36개 이상의 토큰으로 실행합니다.
• 분산 기능은 macOS 26.2에서 도입된 Thunderbolt 5를 통한 RDMA와 jaccl 통신 집합을 추가하는 MLX v0.30.1 이상에 의존합니다.
• 파이프라인 병렬화는 모델을 깊이로 분할하고 디코딩 속도를 본질적으로 변경하지 않지만 65,536 토큰 컨텍스트에서 프리필을 최대 약 1.8배까지 가속화합니다.
• 텐서 병렬화는 모델을 너비로 분할하고 밀집 아키텍처에서 더 잘 확장되며 링크당 Thunderbolt 케이블 2개에서 상당한 이점을 얻습니다.
• M5 Ultra의 GPU 신경 가속기는 M3 Ultra보다 TTFT가 최대 4.6배 빠르며, 1.2TB/s의 통합 메모리 대역폭(819GB/s 대비)은 디코딩 속도를 1.6배 향상시킵니다.
• 65,536 토큰 컨텍스트에서 추론 중 최대 전력 소비는 M3 Ultra에서 약 200W, M5 Ultra에서 약 300W입니다.
• Hacker News 스레드에서 가장 강한 비판은 Apple이 Muse Spark Open을 4비트 NVFP4로 벤치마킹한 반면 Qwen 3.8은 기본 BF16으로 벤치마킹하여 모델 간 비교가 불균형하다는 것입니다.