mw00/project-maya

解決する課題

Project Mayaは、巨大なGLM-5.3-Flashモデル（3210億パラメータ）をコンシューマーグレードのハードウェアで実行できるようにします。通常、この規模のモデルには数百GBのGPUメモリを搭載したエンタープライズサーバーが必要ですが、Mayaは階層型メモリシステムを実装することでこれを実現しています。モデルエキスパートをVRAM、RAM、NVMe SSDに分散させ、会話中に必要に応じて移動させる仕組みです。

仕組み

このエンジンはMixture-of-Experts (MoE) アーキテクチャを使用しており、トークンごとに全パラメータのわずかな部分（約18B）のみがアクティブになります。Mayaは、最も頻繁に使用されるエキスパートをGPUのVRAMに、次に使用されるものをシステムRAMに、残りを高速なNVMe SSDに保持することで最適化を行います。MTPブロックを介した推測デコーディングをサポートしてトークンを先行生成し、精度とハードウェア要件のバランスを取るために複数の量子化バージョン（Maya-S、S24、M、M-Derisked、L）を提供します。

対象ユーザー

NVIDIA GPU (V100以降) または特定のAMD GPU (実験的) を搭載し、LinuxまたはWindowsを使用しているAI愛好家や開発者向けに設計されています。巨大なGPUクラスターを必要とせずに、高パラメータモデルをローカルで実行したい方に最適です。

主な特徴

• 階層型メモリ管理: VRAM、RAM、SSD間でエキスパートを動的にスワップし、限られたハードウェアで巨大なモデルを扱います。
• マルチGPUサポート: 最大16基のGPUにスケールし、利用可能なVRAMに基づいてレイヤーを分割します。
• OpenAI & Anthropic互換: 既存のツールやコーディングエージェントと連携するAPIを提供します。
• 視覚機能: マルチモーダル入力用の画像エンコーダーを搭載しています。
• カスタム量子化: メモリプールに合わせて調整された複数のモデルサイズ（96.5 GBから156.3 GB）を提供します。