Michael-A-Kuykendall/shimmy

해결하는 문제

Shimmy는 GGUF 모델을 로컬에서 안전하게 실행할 수 있는 가벼운 단일 바이너리 추론 서버를 제공합니다. 복잡한 C++ 툴체인이나 Python 런타임이 필요 없으며, Ollama와 같은 더 큰 도구에 비해 높은 성능을 제공합니다.

작동 방식

Shimmy는 OpenAI 호환 API 서버로 작동합니다. Airframe 엔진(순수 Rust로 작성된 트랜스포머 엔진)을 사용하여 WebGPU(WGSL) 컴퓨트 셰이더를 활용해 NVIDIA, AMD, Intel, Apple Silicon 등 다양한 하드웨어에서 모델을 실행합니다. GGUF 메타데이터에서 자동으로 모델 사양을 추출하며, 결정론적 출력을 위해 F32 누적 정밀도를 지원합니다.

대상 사용자

기존 도구에 OpenAI 호환 인터페이스를 통해 로컬 LLM을 통합하고 싶은 개발자 및 AI 애호가에게 적합합니다. 최소한의 종속성과 0 종속성의 Rust 기반 서버를 제공합니다.

주요 특징

• OpenAI SDK 호환성: 채팅 완성, 텍스트 완성, 스트리밍을 지원합니다.
• 순수 Rust: Python 또는 C++ 종속성이 없는 100% Rust 구현입니다.
• TurboShimmy: INT4 KV 캐시 압축 기능으로 VRAM 사용량을 크게 줄입니다.
• 광범위한 하드웨어 지원: WebGPU를 통해 다양한 GPU에서 작동합니다.
• 인증 모델: 지원되는 모델/양자화 조합에 대해 엄격한 3박스 인증 프로세스(MATH, INFERENCE, DETERMINISM)를 수행합니다.