drumih/turbo-fieldfare

解決する課題

TurboFieldfareは、わずか8 GBのRAMを搭載したApple Silicon Mac上で、260億パラメータという巨大なGemma 4モデルを実行可能にします。通常、このようなモデルを完全にロードするには大幅に多くのメモリが必要ですが、本プロジェクトでは必要なモデルコンポーネントのみをSSDからオンデマンドでストリーミングすることで、その制限を回避しています。

仕組み

モデル全体をメモリにロードする代わりに、ランタイムは小さなコアとKVキャッシュをRAM上に常駐させます。カスタムのSwiftおよびMetal実装を使用して、各トークン生成ステップに必要な特定の「エキスパート」ウェイトのみを動的にフェッチおよびキャッシュします。チャンク化されたプリフィル（chunked prefill）を採用してプロンプト処理を最適化し、ディスクからデータをストリーミングする際のメモリ使用量を管理するために境界付きキャッシュポリシーを使用しています。

対象読者

本プロジェクトは、オンデバイス機械学習に関心のある開発者や研究者、特にリソースが制限されたApple Siliconハードウェア上で大規模モデルを実行したいと考えている方に最適です。カスタムMetalカーネルやメモリ効率の高い推論技術を試したい方にも適しています。

ハイライト

• 約2 GBのRAM予算内で26B Gemma 4モデルを実行可能。
• ネイティブmacOSアプリ、CLI、およびOpenAI互換のローカルサーバーが含まれています。
• モデルのウェイトを完全なチェックポイントをステージングすることなく、直接カスタムフォーマットに再パッケージ化するストリーミングインストーラーを搭載。
• 量子化演算、MoE (Mixture of Experts) ルーティング、および効率的なアテンションのためのカスタムMetalカーネルで構築。
• M2以降のApple Siliconチップでは、コンパニオンパックを介してオプションの視覚機能（ビジョン機能）をサポート。