Ternary Bonsai 2 27B 릴리스 노트

Ternary Bonsai 2 27B는 로컬 배포를 위한 거의 손실 없는 압축을 제공합니다

Prism ML은 Qwen3.8 27B 기반의 멀티모달 모델인 Ternary Bonsai 2 27B를 출시했습니다. 이 모델은 전체 정밀도 대비 9배 이상 작아진 5.9GB의 모델 크기를 가지며, Qwen3.8 27B의 전체 벤치마크 성능의 98.2%를 유지합니다. 이로 인해 27B급 지능이 NVIDIA GPU와 Apple Silicon을 포함한 소비자용 하드웨어에서 효율적으로 실행될 수 있습니다.

기술 사양 및 아키텍처

Ternary Bonsai 2 27B는 $−1, 0, +1$의 삼항 가중치와 FP16 그룹별 스케일링을 사용합니다. 이 아키텍처는 가중치당 평균 1.76비트(bpw)의 효과적인 비트율을 제공합니다. 주요 기술적 특징은 다음과 같습니다:

• 컨텍스트 창: 262K 토큰.
• 입력 모달리티: 텍스트 및 이미지 입력에 대한 멀티모달 지원.
• 라이선스: Apache 2.0 라이선스 하에 배포.
• 배포: CUDA를 통한 NVIDIA GPU 및 MLX를 사용한 Apple 기기(Mac, iPhone, iPad)에서 커스텀 저비트 커널을 통해 지원.

성능 및 벤치마크 결과

이론적 추론, 수학, 코딩, 비전을 포함한 다양한 벤치마크에서 Ternary Bonsai 2 27B는 전체 점수 83.9를 기록했으며, 전체 정밀도 Qwen3.8 27B의 85.4점과 비교됩니다.

기능	Ternary Bonsai 2 27B	Qwen3.8 27B	Qwen3.6 27B
에이전트 및 도구 호출	77.57	79.74	80.05
코딩	81.58	82.17	82.57
지시사항 준수	82.66	81.25	74.53
지식 및 추론	83.95	86.66	84.71
수학	96.57	97.06	94.64
비전	78.59	81.64	79.82
전체	83.9	85.4	83.6

Prism ML은 모델이 저비트 양자화로 인한 성능 저하에 민감한 코딩 에이전트, 도구 사용 시스템, 멀티모달 워크플로우 등에서 높은 성능을 유지한다고 강조합니다.

처리량 및 에너지 효율성

모델 크기 감소로 인해 추론 속도와 전력 소비 측면에서 큰 성과를 얻었습니다:

• NVIDIA GeForce RTX 5090: 초당 최대 143토큰.
• M5 Max: 초당 46.8토큰.
• 에너지 효율성: RTX 4090에서 모델은 토큰당 0.714 mWh의 전력을 소비하며, 전체 정밀도로 실행되는 8B 모델보다 40% 더 에너지 효율적입니다.

커뮤니티의 통찰과 반론

공식 릴리스는 "거의 손실 없는" 성능을 강조하지만, Hacker News 커뮤니티의 피드백은 모델의 실제 활용성에 대해 더 다층적인 시각을 제시합니다:

• 신뢰성 우려: 일부 사용자는 긴 작업 중 모델이 "놀랍게 붕괴"하거나 WebGPU 버전 사용 시 루프에 빠지는 현상을 보고했습니다.
• 에이전트 성능: 일부 테스터는 실제 에이전트 작업에서 모델이 실패했다고 지적했으며, 한 사용자는 간단한 Swift 앱 작업이 25분간 "생각"만 반복되며 완료되지 않았다고 하였고, 반면 프론트라인 모델(GPT 5.6 sol-medium)은 3분 만에 완료했다고 밝혔습니다.
• 구현 세부 사항: 사용자들은 GGUF 버전을 실행하려면 특정 Prism 리포지토리의 llama.cpp 포크가 필요하다고 지적했습니다.
• 하드웨어 관측: Radeon RX 7900 XTX에서 테스트한 사용자는 사전 추론을 사용해 초당 89토큰을 생성했으며, 24k 컨텍스트 창에서 최대 VRAM 사용량은 10.1 GiB였다고 보고했습니다.

"더 긴 작업에 사용하면 놀랍게 붕괴되고, 흥미로운 방식으로 망가집니다."

"실제 에이전트 작업에서는 그냥 실패합니다."

이전 세대와의 비교

Ternary Bonsai 2 27B는 첫 번째 Bonsai 27B 릴리스에 비해 기반 모델을 Qwen3.8 27B로 업그레이드하고, 전체 정밀도 기준 대비 성능 유지율을 95%에서 98% 이상으로 향상시켰습니다.