youssofal/MTPLX

何を解決するか

MTPLXは、Apple Silicon搭載Mac上で大規模言語モデル（LLM）をローカルで実行するための高性能な方法を提供します。標準的なデコードの速度制限を克服するために、マルチトークン予測（MTP）ヘッドを活用し、複数のトークンを一度に草案・検証することで、モデルの精度を損なうことなく生成速度を大幅に向上させます。

動作方法

MTPLXは、モデル自身のMTPヘッドを使用して正確な推測デコーダーを実装しています。現在の位置より複数トークン先を草案し、その後、1回のバッチ化された順伝播でその草案を検証します。残差補正付きの正確な拒否サンプリングによりトークンを確定させ、出力が通常のデコードと完全に同一になるように保証しています。パフォーマンス最適化のため、「オートチューン」機能を備えており、Macの特定のハードウェア（チップ、メモリ帯域、温度）を測定し、特定のモデルに最適な草案深度を決定します。

対象ユーザー

Apple Silicon（M1以降）を搭載するmacOSユーザーで、Qwen 3.8、Gemma 4、Ternary Bonsai 2などの強力なモデルをローカルでコード作成、チャット、AIエージェントの駆動などに使用したい方を対象としています。OpenAI/Anthropic互換APIを介して利用可能です。

特徴

• 高速デコード: 高性能Mシリーズチップでは、通常のデコードと比較して最大2.24倍の高速化を実現。
• MTP統合: マルチトークン予測ヘッドを搭載したモデル（例：Qwen 3.8シリーズ）をネイティブでサポート。
• 包括的なツールキット: ライブパフォーマンスダッシュボード付きネイティブMacアプリ、CLI、およびHugging Faceリポジトリから新しいMTPモデルを作成・検証できる「Forge」ツールを提供。
• API互換性: OpenAIおよびAnthropic互換APIを提供。ツールコール、ストリーミング、Cursor、Cline、Claude Codeなどのクライアントとの統合をサポート。
• 効率的なメモリ管理: 4ビット、8ビットなどのさまざまな量子化レベルをサポート。大規模なn-gramテーブルをSSDからストリーミングしてRAMを節約。