Bonsai 27B가 1‑비트 양자화를 통해 270억‑파라미터 AI를 휴대폰에 탑재

Bonsai 27B가 1‑비트 양자화를 통해 270억‑파라미터 AI를 휴대폰에 탑재

Bonsai 27B가 270억‑파라미터 모델을 휴대폰에 올립니다

핵심: PrismML은 Qwen 3.6 27B 모델의 저비트 변형 두 가지—삼진(5.9 GB)과 1‑비트(3.9 GB)—를 각각 노트북과 iPhone 17 Pro에서 실행할 수 있게 공개했으며, 15개 벤치마크 스위트 전체에서 정밀도 기준 모델의 95%와 90%를 유지합니다.

서로 다른 하드웨어를 위한 두 가지 운영 포인트

결론: 삼진 변형은 품질 중심의 노트북 사용을 목표로 하고, 1‑비트 변형은 최신 스마트폰의 메모리 한도에 맞춥니다.

  • 삼진 Bonsai 27B – 가중치는 삼진 (−1, 0, +1)이며 FP16 그룹‑와이즈 스케일링을 사용해 실제 1.71 비트/가중치가 됩니다. 모델 크기는 5.9 GB로, 일반 노트북에서 완전한 추론, 툴 호출, 에이전트 루프를 가능하게 합니다.
  • 1‑비트 Bonsai 27B – 가중치는 이진 (−1, +1)이며 동일한 스케일링을 적용해 실제 1.125 비트/가중치가 됩니다. 3.9 GB 크기로 iPhone 17 Pro의 약 4 GB 사용 가능한 메모리 안에 들어가, 27B‑급 모델 중 최초로 온‑디바이스 전용 실행이 가능합니다.

두 변형 모두 저비트 표현을 엔드‑투‑엔드(임베딩, 어텐션, MLP, LM 헤드)로 유지하고, 4‑비트 비전 타워를 제공해 스크린샷, 문서, 카메라 프레임 등 멀티모달 입력을 지원합니다.

벤치마크 성능은 지능 손실이 최소

결론: 수학, 코딩, 툴‑콜, 명령 수행, 지식·STEM, 비전 작업 전반에 걸쳐 Bonsai 27B는 전체 정밀도 Qwen 3.6 27B에 비해 몇 점 정도만 감소합니다.

Category Full‑precision Qwen 3.6 27B Ternary Bonsai 27B 1‑Bit Bonsai 27B
Math 95.3 93.4 91.7
Coding 88.7 86.0 81.9
Agentic & Tool‑calling 80.0 74.0 66.0
Instruction following 78.4 71.8 65.8
Knowledge / STEM 83.1 77.0 73.4
Vision 72.6 65.2 59.6
Overall (15 benchmarks) 85.0 80.5 76.1

표에서 알 수 있듯이 수학·코딩 점수는 3점 이하로 감소하고, 툴‑콜은 14점 차이 안에 머물러 에이전트 워크로드에 충분히 유용합니다. 저자들은 동일 모델을 4‑비트 양자화했을 경우 메모리 사용량이 2.5배 더 크고 점수도 1‑비트 Bonsai 변형보다 크게 낮다고 언급했습니다.

지능 밀도: GB당 더 많은 역량

결론: Bonsai 27B는 지능‑GB 비율이 전체 정밀도 기준보다 10배 이상 높아, 비용‑성능 경계를 재정의합니다.

  • Intelligence density는 벤치마크 점수를 모델 크기(GB)로 나눈 값입니다. 1‑비트 변형은 0.53 점/GB를 기록해, 압축되지 않은 27B 모델의 약 0.05 점/GB에 비해 크게 앞섭니다.
  • 이는 전체 정밀도 대비 >10×, 기존 저비트 모델 대비 ~2.7× 향상된 수치입니다.

Intelligence density comparison

온‑디바이스 에이전트 AI가 중요한 이유

결론: 로컬 실행은 토큰당 API 비용을 없애고 지연 시간을 제거하며 사용자 데이터를 보호해, 새로운 오프라인 어시스턴트 클래스를 가능하게 합니다.

  • 에이전트 워크로드는 작업당 수백 번의 모델 호출을 필요로 하며, 각각 컨텍스트와 구조화된 출력을 포함합니다. 클라우드 전용 API는 네트워크 지연과 누적 토큰 비용을 초래합니다.
  • 온‑디바이스에 모델이 들어가면 전체 루프를 로컬에서 실행할 수 있어, 수백 단계 워크플로우의 한계 비용이 사실상 0이 됩니다.
  • 하이브리드 아키텍처도 현실화됩니다: 프라이버시‑민감 단계는 폰에서, 가장 무거운 추론만 클라우드 모델이 담당합니다.

발표에는 RTX 5090 GPU에서 다단계 에이전트 워크플로우를 시연한 영상과, 캐시된 이미지 컨텍스트를 처리하는 멀티모달 iPhone 데모가 포함되었습니다.

실제 처리량 수치

결론: Bonsai 27B는 고성능 GPU와 Apple 실리콘 모두에서 실용적인 토큰‑초당 속도를 달성합니다.

  • NVIDIA GeForce RTX 5090: 163 tok/s (1‑bit) / 134 tok/s (ternary)
  • Apple M5 Max: 87 tok/s (1‑bit) / 58 tok/s (ternary)

이 속도는 인터랙티브 채팅 및 많은 에이전트 파이프라인에 충분하며, 추측 디코딩(초안‑검증)과 결합하면 지연 시간을 더욱 낮출 수 있습니다.

커뮤니티 반응 및 질문

결론: 초기 사용자는 성능 비교, 통합 난관, AI 배포 전반에 대한 영향을 탐색하고 있습니다.

"제가 가장 보고 싶은 것은 Gemma 4 12B의 4‑bit QAT 형태와의 비교입니다. 약 7 GB에 불과해 대부분의 디바이스에서 강력한 툴 사용 및 비전 성능을 보여줍니다." – SwellJoe

"벤치마크 점수가 부모 모델에서 유지된 지능을 반영하는지, 테스트 세트에 대한 파인‑튜닝 결과인지 어떻게 알 수 있나요?" – motbus3

"KV‑cache 사용량이 매우 절약적인데, 이는 다중 에이전트 코딩 워크플로우에 큰 변화를 줄 수 있습니다." – erwan577

"LM Studio에서 Hugging Face 릴리스를 시도했지만 GGUF와 MLX 빌드가 작동하지 않았습니다. 엔진 업데이트가 필요할 것 같습니다." – simonw

이러한 의견은 4‑bit QAT 모델과의 직접 비교, 평가 방법론에 대한 투명성, 새로운 포맷에 대한 툴 지원 요구를 강조합니다.

제공 방식 및 라이선스

결론: 모델과 저비트 커널은 Apache 2.0 라이선스로 공개되며, 빠른 실험을 위한 무료 개발자‑프리뷰 API가 제공됩니다.

  • 플랫폼: Apple 디바이스는 MLX를 통해, NVIDIA GPU는 커스텀 CUDA 커널을 통해 네이티브 지원됩니다.
  • 문서: 압축 알고리즘, 평가 파이프라인, 벤치마크 스위트 등을 포함한 전체 기술 세부 사항은 공개된 백서에 정리되어 있습니다.

전망: 지능 밀도가 새로운 AI 지표가 된다

결론: 모델 역량이 파라미터 수보다 메모리 대비 성능(지능 밀도)에 의해 결정될 때, 어디서 고급 AI가 실행될 수 있는지가 바뀝니다.

PrismML의 방법론은 아키텍처에 구애받지 않으며, 향후 더 큰 모델이나 새로운 트랜스포머 변형이 출시될 경우에도 밀도 경계를 계속 밀어낼 것으로 보입니다. 저자들은 현재 변화를 방대한 컴퓨터에서 주머니 속 스마트폰으로 전환된 역사적 전환점에 비유합니다.

핵심 요약: Bonsai 27B는 27‑억‑파라미터 멀티모달 모델이 현대 스마트폰에서 전체 정밀도 성능의 10 % 이하만 손실하고도 실행될 수 있음을 입증해, 오프라인·프라이버시‑보호·비용‑무료 에이전트 AI를 소비자 하드웨어에 구현하는 길을 열었습니다.

Sources