Headmaster218/MoE4All

解決する問題

MoE4All を使用すると、ローカル GPU の VRAM 容量を超える大規模な Mixture-of-Experts（MoE）AI モデルを実行できます。SSD、システム RAM、GPU VRAM 間でモデルのウェイトをインテリジェントに管理することで、コンシューマーハードウェア（AMD、NVIDIA、Intel）で高性能推論を実現します。

仕組み

SSD、RAM、VRAM を統合メモリプールとして扱う階層ストレージアーキテクチャを使用します。MoE モデルはトークンごとに全パラメータの一部のみをアクティブにするため、エンジンは頻繁に使用される「エキスパート」ウェイトを VRAM に保持し、残りを RAM または SSD にオフロードします。Vulkan を利用してクロスプラットフォームの GPU アクセラレーションを実現し、既存のチャットクライアントと統合するための OpenAI 互換 API を提供します。

対象ユーザー

このプロジェクトは、エンタープライズグレードのハードウェアを必要とせずに、大規模で高パラメータの LLM をローカルで実行したいコンシューマーグレードの GPU ユーザー向けです。限られた VRAM で長文コンテキストモデルを試したり、同時推論タスクを実行したいユーザーに特に役立ちます。

ハイライト

• クロスプラットフォーム対応：Windows、Linux、Apple Silicon で最小限のセットアップで動作します。
• Vulkan ファースト推論：Vulkan を活用して AMD、NVIDIA、Intel GPU 全体で幅広い互換性を実現します。
• 効率的なメモリ管理：物理 VRAM より大きいモデルを処理するための 3 層キャッシュシステム（SSD/RAM/VRAM）を実装します。
• API 互換性：埋め込みおよびチャットサービス用の OpenAI 互換 API を提供します。
• 同時処理：異なるコンテキスト長の同時リクエストを処理するための複数の K/V スロットをサポートします。