zml/zml

What it solves

ZML は、AI ワークロードを専有ハードウェアから切り離すことを目的としたプロダクション推論スタックです。開発者は各プラットフォームごとにコードベースを書き直すことなく、さまざまなハードウェアアクセラレータ上でモデルを実行できます。

How it works

Zig 言語、MLIR、Bazel を使用して構築され、ZML はモデルを直接複数のハードウェアバックエンドにコンパイルします。NVIDIA CUDA、AMD ROCm、Intel OneAPI、Google TPU、AWS Trainium/Inferentia 2 など幅広いアクセラレータをサポートし、選択したハードウェア上で最高のパフォーマンスを実現します。

Who it’s for

ハードウェアロックインを回避し、マルチプラットフォーム展開のために単一コードベースを維持したい、プロダクション AI 推論システムを構築する開発者やエンジニア向けです。

Highlights

• Multi-Hardware Support: Native compilation for NVIDIA, AMD, Intel, and TPU/Trainium accelerators.
• Unified Codebase: Run any model on many hardwares using one codebase.
• LLM Support: Out-of-the-box support for Llama 3.1/3.2, Qwen 3.5, and LFM 2.5.
• Flexible Loading: Ability to load models from Hugging Face, S3, or local directories via a VFS layer.
• High Performance: Compiled directly to hardware for peak execution speed.