buddy-compiler/buddy-mlir

解決的問題

Buddy MLIR 是一個旨在彌合高階領域特定語言（DSL）與領域特定架構（DSA）之間差距的編譯器框架。它能高效地將 AI 模型（如 DeepSeek R1、Whisper 和 Qwen3-VL）編譯為適用於各種硬體目標（包括 x86_64、RISC-V 和 NVIDIA GPU）的優化內核。

如何運作

此框架基於 MLIR（多層中間表示）生態系統建構，提供一系列 IR 級別的轉換與優化 passes。它使用程式碼產生工具（build_model.py）將來自 HuggingFace 等來源的模型規格（JSON 規格）與權重轉換為可部署格式（.rax 檔案）。同時，它也包含一個 buddy-cli 工具，可用於在這些編譯後的模型上執行推論，支援 NUMA 節點繫結與 CPU 針繫等進階硬體設定。

適用對象

致力於開發客製化 AI 加速器，或在特定硬體架構上優化大型模型部署的硬體架構師、編譯器工程師與 AI 研究人員。

主要亮點

• 多硬體支援：支援 x86_64、RISC-V 與 NVIDIA GPU（NVPTX）。
• 端對端編譯：直接將模型規格與權重轉換為可執行的推理二進位檔。
• 層分割：並行化最慢的 MLIR 編譯階段，加快建構過程，同時維持正確性。
• 廣泛模型支援：包含 LLM（DeepSeek R1）、音訊模型（Whisper）與視覺-語言模型（Qwen3-VL）的預設規格。