Michael-A-Kuykendall/shimmy

何を解決するか

Shimmy は、GGUF モデルをローカルでプライベートに実行できる、軽量でシングルバイナリの推論サーバーを提供します。複雑な C++ ツールチェーンや Python ランタイムの必要性を排除し、Ollama や他の大規模ツールに対する高性能な代替手段を提供します。

動作方法

Shimmy は OpenAI 互換の API サーバーとして機能します。Airframe エンジン（純粋な Rust で構築されたトランスフォーマー エンジン）を使用し、WebGPU（WGSL）コンピュート シェーダーを活用して、NVIDIA、AMD、Intel、Apple Silicon などさまざまなハードウェア上でモデルを実行します。GGUF メタデータから自動的にモデル仕様を導出でき、確定的な出力を得るために F32 累積精度をサポートしています。

対象ユーザー

既存のツールにローカル LLM を OpenAI 互換インターフェースで統合したい開発者や AI ファンにとって最適です。最小限の依存関係、ゼロ依存の Rust ベースサーバーを提供します。

特徴

• OpenAI SDK 互換性: チャット補完、テキスト補完、ストリーミングをサポート。
• 純粋な Rust: Python や C++ 依存なしの 100% Rust 実装。
• TurboShimmy: INT4 KV キャッシュ圧縮機能で VRAM 使用量を大幅に削減。
• 広範なハードウェア対応: WebGPU を通じてさまざまな GPU で動作。
• 認定モデル: サポートされるモデル/量子化組み合わせに対して、厳格な 3 ボックス認証プロセス（MATH、INFERENCE、DETERMINISM）を実施。