mlc-ai/mlc-llm
Universal LLM Deployment Engine with ML Compilation
What it solves
MLC LLM は、広範なハードウェアプラットフォームとオペレーティングシステム上で大規模言語モデル (LLMs) をネイティブにデプロイする方法を提供します。ハードウェア固有の障壁を取り除き、AI モデルをハイエンド GPU からモバイルフォン、ウェブブラウザまで、あらゆるもの上で効率的に実行できるようにします。
How it works
このプロジェクトは、機械学習コンパイラを使用して、特定のハードウェア向けに LLM を変換および最適化します。これらのモデルを、統一された高性能推論エンジンである MLCEngine 上で実行します。このエンジンは OpenAI 互換の API を提供するため、REST servers、Python、JavaScript、iOS、Android への統合が容易になります。
Who it’s for
多様なハードウェア (AMD, NVIDIA, Apple, Intel GPU) および異なるプラットフォーム (Linux, Windows, macOS, iOS, Android, Web Browsers) 上に LLM をデプロイする必要がある開発者。
Highlights
- Universal Deployment: 幅広い GPU (Vulkan, ROCm, CUDA, Metal, OpenCL) とプラットフォームをサポートします。
- ML Compilation: コンパイラを使用して、モデルをネイティブ性能で最適化します。
- OpenAI-compatible API: 標準的な API 形式を通じて、統合を簡き化します。
- Broad Platform Support: デスクトップ、モバイル、ウェブブラウザ (WebGPU と WASM を使用) でネイティブに動作します。