buddy-compiler/buddy-mlir

何を解決するか

Buddy MLIR は、高レベルのドメイン固有言語（DSL）とドメイン固有アーキテクチャ（DSA）の間のギャップを埋めるために設計されたコンパイラフレームワークです。DeepSeek R1、Whisper、Qwen3-VL などの AI モデルを、x86_64、RISC-V、NVIDIA GPU などさまざまなハードウェアターゲット向けの最適化されたカーネルに効率的にコンパイルできます。

どう動くか

MLIR（Multi-Level Intermediate Representation）エコシステムの上に構築されたこのフレームワークは、IRレベルの変換とパスを提供します。build_model.py というコードジェネレータを使って、HuggingFace などのソースから得たモデル仕様（JSON仕様）と重みを、デプロイ可能な形式（.rax ファイル）に変換します。また、コンパイル済みモデルの推論を実行するための buddy-cli も含まれており、NUMA ノードバインディングや CPU ピニングといった高度なハードウェア構成をサポートしています。

対象ユーザー

カスタム AI アクセラレータの開発や、特定のハードウェアアーキテクチャ上での大規模モデルの最適化に取り組むハードウェアアーキテクト、コンパイラエンジニア、AI研究者。

主な特徴

• マルチハードウェア対応：x86_64、RISC-V、NVIDIA GPU（NVPTX）をターゲットに。
• エンドツーエンドコンパイル：モデル仕様と重みを直接実行可能なバイナリに変換。
• レイヤー分割：最も遅い MLIR コンパイルステージを並列化してビルドプロセスを高速化しつつ、正しさを維持。
• 広範なモデル対応：LLM（DeepSeek R1）、音声モデル（Whisper）、視覚言語モデル（Qwen3-VL）の事前定義仕様を含む。