FlashML-org/FreeToken

FreeToken – エッジネイティブ Mixture-of-Experts (MoE) サービングエンジン

概要 – FreeTokenは、ゲーミングPCやノートPCなどのコンシューマー向けハードウェア上で、非常に大規模なMixture-of-Experts言語モデル（例：290Bパラメータモデル）を実行するためのオープンソースランタイムです。CPU、GPU、ホストメモリ、インターコネクトを単一の弾力的な推論プラットフォームとして扱い、データセンターなしで最先端規模のオープンウェイトモデルをサービングできます。

主な機能

• 帯域幅適応型 CPU-GPU 協調実行 – カスタムの $q^\star$ スケジューリングポリシーにより、現在の帯域幅に基づいてCPUとGPU間でタスクを移動させ、推論を高速に保ちます。
• ダブルバッファ・プリフィル・ストリーミング – モデル層をパイプライン形式でストリーミングし、長いプロンプトのレイテンシを削減します。
• グローバル LRU エキスパートキャッシュ & セマンティック認識チェックポイント – 頻繁に使用されるエキスパートとKVキャッシュ状態をLRUキャッシュに保持します。セマンティックアンカーにより、プロンプト全体を再計算することなくコンテキスト（ツール呼び出しなど）を編集できます。
• 弾力的な VRAM 管理 – エンジンはエキスパート重みとKVメモリの間でGPUメモリをオンザフライで再割り当てでき、再起動は不要です。
• 幅広いモデルとフォーマットのサポート – DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2などのオープンウェイトMoEモデルで動作し、MXFP4、NVFP4、FP8、BF16などの量子化をサポートします。
• API 互換性 – Anthropic/OpenAIスタイルのエンドポイントを提供するため、既存のエージェント（Codex、Claude Codeなど）をそのまま使用してエンジンを呼び出せます。
• ハードウェア対応 – NVIDIA RTX 30/40/50シリーズGPUをネイティブサポート。GPUがない場合はCPUでも動作します。

開始方法

1. デスクトップアプリ – https://flashml.ai からビルド済みのWindowsまたはLinuxパッケージをダウンロードしてください。GUIからモデルの読み込み、チャット、ランタイム設定の調整が可能です。
2. CLI – 最新のPythonパッケージマネージャー uv を使用してインストールします：

   uv pip install "freetoken[accel]"
   

   またはソースからビルドします：

   git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
   uv venv && source .venv/bin/activate
   uv pip install -e ".[accel]"
   

   詳細は docs/ フォルダ内のドキュメント（インストール、クイックスタート、サポートモデル、CLIリファレンス、チェックポイントのホットフィックス）を参照してください。

重要性 – 従来のMoEサービングには、高速インターコネクトを備えたマルチGPUクラスターが必要でした。FreeTokenはその能力をエッジにもたらし、単一のコンシューマーマシン上でインタラクティブなAIアプリケーション（コードアシスタント、ツール呼び出しエージェントなど）を低メモリ使用量・低レイテンシで実現します。

引用 – 研究でこのエンジンを使用する場合は、付属のarXiv論文 (arXiv:2608.16157) を引用してください。

謝辞 – 本プロジェクトはmini-sglang、vLLM、FlashInfer、LightLLM、llama.cppのアイデアに基づいて構築されており、Apache-2.0ライセンスの下で公開されています。