buddy-compiler/buddy-mlir

解决的问题

Buddy MLIR 是一个旨在弥合高级领域特定语言（DSL）与领域特定架构（DSA）之间差距的编译器框架。它能够高效地将 AI 模型（如 DeepSeek R1、Whisper 和 Qwen3-VL）编译为适用于各种硬件目标（包括 x86_64、RISC-V 和 NVIDIA GPU）的优化内核。

如何工作

该框架基于 MLIR（多级中间表示）生态系统构建，提供一系列 IR 级别的转换和优化 passes。它使用代码生成工具（build_model.py）将来自 HuggingFace 等源的模型规格（JSON 规格）和权重转换为可部署格式（.rax 文件）。同时，它还包含一个 buddy-cli 工具，用于在这些编译后的模型上运行推理，支持 NUMA 节点绑定和 CPU 亲和性等高级硬件配置。

适用人群

致力于开发定制 AI 加速器或在特定硬件架构上优化大规模模型部署的硬件架构师、编译器工程师和 AI 研究人员。

主要亮点

• 多硬件支持：支持 x86_64、RISC-V 和 NVIDIA GPU（NVPTX）。
• 端到端编译：直接将模型规格和权重转换为可执行的推理二进制文件。
• 层分割：并行化最慢的 MLIR 编译阶段，加快构建过程，同时保持正确性。
• 广泛模型支持：包含 LLM（DeepSeek R1）、音频模型（Whisper）和视觉-语言模型（Qwen3-VL）的预定义规格。