lablup/mlxcel

解決する課題

mlxcel は、Apple Silicon、NVIDIA CUDA、および実験的にAMD ROCm上で、大規模言語モデル（LLM）、視覚言語モデル（VLM）、埋め込み、リランカー、音声モデルを実行するために設計された高性能推論エンジンです。リクエストパスからPython環境やインタープリタ層を排除し、本番向けモデルサーバーのためのネイティブなRustベースのランタイムを提供します。

仕組み

このプロジェクトは、RustでCLIとサーバーを実装し、MLX SafeTensorsチェックポイントをネイティブのMLX C++バインディングを介して直接実行します。このアーキテクチャにより、変換ステップなしでHuggingFace（mlx-community を含む）からチェックポイントを読み込むことができます。連続バッチ処理、プロンプトプレフィックスキャッシュ、投機的復号、分散推論などの高度なサーバー機能をサポートしています。

対象ユーザー

Apple Silicon（主なターゲット）またはLinux/CUDAシステム上でAIモデルを展開するためのコンパクトでネイティブなランタイムを必要とする開発者や運用者、およびローカルまたは本番サーバー向けの高性能な llama-server 互換APIを求める人々のために構築されています。

主な特徴

• ネイティブランタイム: リクエストパスにPythonを必要とせず、デプロイ成果物をネイティブ実行可能ファイルに簡素化します。
• 広範なモダリティサポート: テキスト生成、マルチモーダル入力（画像/動画）、埋め込み、リランキング、ASR（文字起こし）、TTS（音声合成）を処理します。
• API互換性: llama-server との互換性が検証されており、OpenAI、Anthropic、Vertex AI互換ルートをネイティブにサポートします。
• ハードウェアアクセラレーション: Apple Silicon、NVIDIA CUDA、およびAMD ROCm（RDNA 3.5）の実験的サポートに最適化されています。
• 高度な推論: 投機的復号（MTP/DFlash）、KVキャッシュ圧縮、LRUエビクションを備えたマルチモデルルーターが含まれます。
• モデル手術: スケーリング、プルーニング、補間など、YAMLベースのロード時ウェイト編集をサポートします。