flagos-ai/FlagTree

FlagTree is a unified compiler supporting multiple AI chip backends for custom Deep Learning operations, which is forked from triton-lang/triton.

解决的问题

FlagTree 解决了不同硬件加速器之间 AI 软件栈的碎片化问题。无需为每种特定芯片重写 AI 工作负载，降低了模型移植和维护成本，同时解锁了硬件特定的性能提升。

工作原理

FlagTree 作为多个 AI 芯片的统一编译器，基于并扩展了 Triton 生态系统。它提供单一仓库、多后端支持系统，将不同的硬件后端（如 NVIDIA、AMD、华为昇腾等）集成在一起。为弥合可移植代码与硬件特定调优之间的差距，它引入了 Triton 语言扩展（TLE），允许开发者通过分层抽象（Lite、Struct 和 Raw）从可移植使用过渡到原始的、面向硬件的调优。

适用人群

  • 模型使用者：希望在多种 AI 加速器上编译和运行 AI 模型，而无需重写代码的人。
  • 芯片制造商：希望以标准化方式将自家硬件集成到 Triton 生态系统中的企业。

主要亮点

  • 广泛的硬件支持：支持多种后端，包括 NVIDIA、AMD、华为昇腾以及各种其他 AI 加速器。
  • Triton 语言扩展（TLE）：提供逐级抽象层次，实现对内存访问和执行模式的深度性能调优。
  • 统一编译：为 AI 工作负载实现「一次开发，随处运行」的工作流。
  • 性能提升：在真实模型（如 Qwen）中实现加速，且无需修改原始 Triton 操作符代码。

相关

  • 项目
    flagos-ai/FlagGems

    一个基于 Triton 实现的高性能算子库，通过 PyTorch API 实现 LLM 训练与推理在多种 AI 加速器上的运行。

  • 项目
    flagos-ai/FlagScale

    FlagScale 是 FlagOS 生态系统的一体化工具包，为在多种 AI 硬件芯片上训练、强化学习和推理大模型提供统一接口。

  • 项目
    ByteDance-Seed/Triton-distributed

    Triton-distributed 是一个由 ByteDance-Seed 开源的编译器，它扩展了 Triton 语言，增加了用于重叠 GPU 计算与通信的原语。它能在 NVIDIA 和 AMD GPU 上实现高性能的分布式核心（如 GEMM、MoE、flash-decode、AllToAll），提供媲美手动调优库的加速效果。可通过源码或预先构建的 pip wheel 安装，使用 @triton_dist.jit 编写核心，并调用提供的底层通信 API。该项目持续更新（最新消息为 2026 年 9 月），并以 MIT 授权发布。

  • Dispatch
    OpenAI Triton 1.0 发布

    OpenAI 发布了 Triton 1.0，这是一种开源的类 Python 语言和编译器，允许研究人员在无需深厚 CUDA 知识的情况下编写高效的 GPU 内核。

  • 项目
    proliferate-ai/proliferate

    一个开源 AI IDE，允许开发者并行运行多个编码代理，为每个任务提供隔离的 git worktree 和环境。