JustVugg/colibri

colibri는 매우 큰 오픈 웨이트 AI 모델(혼합 전문가 언어 모델, 비전 모델, 의사결정 모델)을 일반 컴퓨터에서 실행하는 작고 순수한 C 엔진입니다. GPU가 필수는 아니지만, 사용 가능한 경우 가속에 활용할 수 있습니다. 핵심 기술은 GLM-5.2 (744B 파라미터)와 같은 거대 모델이 각 토큰에 대해 가중치의 극히 일부만 활성화한다는 점을 이용하는 것입니다. colibri는 항상 필요한 '밀집(dense)' 부분은 RAM에 유지하고, 거의 사용되지 않는 '전문가(expert)' 가중치는 필요에 따라 디스크에서 스트리밍합니다. 이를 통해 일반적으로 수백 GB의 VRAM이 필요한 모델을 8~16GB RAM과 빠른 NVMe 드라이브를 갖춘 기기에서 실행할 수 있습니다.

작동 원리

• 혼합 전문가(MoE) 모델은 많은 병렬 '전문가' 서브 네트워크를 가지며, 토큰당 소수만 사용됩니다. colibri는 이러한 희소성을 활용합니다.
• 밀집 레이어(어텐션, 공유 전문가, 임베딩)는 RAM에 상주합니다. 라우팅된 전문가는 대화에서 사용되는 것을 학습하는 캐시를 통해 디스크에서 읽어옵니다.
• GPU가 있는 경우, 가장 자주 사용되는 전문가와 밀집 레이어를 유지하여 추론을 가속할 수 있습니다. 엔진은 Vulkan(Vulkan 1.2 드라이버가 있는 모든 GPU)과 CUDA(Linux/Windows의 NVIDIA 카드)를 지원합니다.
• 엔진은 C로 작성되었으며 모델 제품군당 하나의 파일로 구성되어 있고, 감사 및 측정이 가능한 오픈 연구 플랫폼으로 설계되었습니다.

실행 가능한 모델

• 언어 모델: GLM-5.2/5.3, DeepSeek V4 Flash, Kimi K3 (2.8T 파라미터), Qwen3.6, Qwen3-Coder, OLMoE 등.
• 이미지 생성: Qwen-Image-2.1.
• 의사결정 모델(빠른 단일 답변 분류기): Laya, GLiNER2.5-Decide, Clef.
• 모든 모델은 오픈 웨이트이며 Hugging Face에서 다운로드됩니다.

시작하기

• Windows, Linux, macOS용 원스텝 설치 프로그램: 다운로드 후 START-HERE.bat 또는 ./start-here.sh를 실행하고 질문(모델 선택)에 답하면 하드웨어 감지, 적합한 모델 추천, 엔진 빌드/다운로드, 모델 다운로드, 브라우저 대시보드가 포함된 로컬 서버 시작까지 자동으로 수행됩니다.
• 서버는 OpenAI 및 Anthropic 호환 API를 노출하므로 기존 도구에 연결할 수 있습니다.
• MCP 서버(coli mcp)를 사용하면 AI 코딩 어시스턴트가 프로그래밍 방식으로 colibri를 설치하고 관리할 수 있습니다.

주요 기능

• 디스크 스트리밍: 필요에 따라 전문가 가중치를 읽어 RAM보다 훨씬 큰 모델을 실행합니다.
• GPU 가속: Vulkan 또는 CUDA 빌드 선택 가능; 설정이 하드웨어에 가장 적합한 백엔드를 자동으로 선택합니다.
• 투명하고 측정 가능: 모든 최적화는 재현 가능한 벤치마크를 기반으로 하며, 대시보드에서 전문가 활성화를 실시간으로 보여줍니다.
• 재개 가능한 다운로드: 누락된 패키지, GPU 드라이버 문제, 디스크 공간 문제를 처리하는 강력한 설정.

하드웨어 요구 사항

• 최소 8GB RAM(16GB 이상 권장), 최소 모델 기준 22GB의 여유 디스크 공간, 인터넷 연결. GPU는 선택 사항입니다.
• 대형 모델의 경우 빠른 NVMe SSD가 필수적입니다. 디스크 속도가 토큰 생성 속도를 제한하기 때문입니다.

중요성 colibri는 모델의 정밀도나 라우팅 의미론을 임의로 변경하지 않으면서 사람들이 이미 소유한 하드웨어에서 최첨단 오픈 모델을 실행할 수 있게 하여 접근성을 민주화합니다. 이는 실용적인 도구이자 효율적인 MoE 추론을 위한 연구 플랫폼입니다.