jax-ml/jax-triton

jax-triton contains integrations between JAX and OpenAI Triton

解决的问题

提供一种将 Triton 内核集成到 JAX 程序中的方法，使开发者能够使用 Triton 的基于 Python 的语言编写高性能的自定义 GPU 内核，并在 JAX 的函数式生态系统中无缝执行，包括在 jax.jit 编译的函数内部。

工作原理

该库引入了 triton_call 函数，作为桥梁。它允许将 JAX 数组作为参数传递给 Triton 内核。同时支持对通过 jax.new_ref 创建的 JAX Ref 对象进行就地修改，使内核能够在不分配新输出数组的情况下修改数据。

适用人群

需要自定义 Triton 内核性能，但希望在整体模型架构和高层编排中继续使用 JAX 的开发者和研究人员。

特性亮点

  • 支持从 JAX 数组调用 Triton 内核。
  • 与 jax.jit 兼容，实现高效执行。
  • 通过 JAX Ref 支持输入输出参数，实现就地修改。
  • 与 Gluon 语法集成。

相关

  • Dispatch
    OpenAI Triton 1.0 发布

    OpenAI 发布了 Triton 1.0，这是一种开源的类 Python 语言和编译器，允许研究人员在无需深厚 CUDA 知识的情况下编写高效的 GPU 内核。

  • 项目
    triton-lang/triton

    一种用于编写高效自定义深度学习原语的语言和编译器，其生产力高于 CUDA，灵活性优于其他 DSL。

  • 项目
    ByteDance-Seed/Triton-distributed

    Triton-distributed 是一个由 ByteDance-Seed 开源的编译器，它扩展了 Triton 语言，增加了用于重叠 GPU 计算与通信的原语。它能在 NVIDIA 和 AMD GPU 上实现高性能的分布式核心（如 GEMM、MoE、flash-decode、AllToAll），提供媲美手动调优库的加速效果。可通过源码或预先构建的 pip wheel 安装，使用 @triton_dist.jit 编写核心，并调用提供的底层通信 API。该项目持续更新（最新消息为 2026 年 9 月），并以 MIT 授权发布。

  • 项目
    triton-inference-server/client

    用于 C++、Python 和 Java 的客户端库和示例，简化与 Triton Inference Server 的模型推理和服务器管理通信。

  • 项目
    BobMcDear/attorch

    基于 Triton 的 PyTorch nn 模块子集，为开发自定义深度学习算子提供易读且易于修改的神经网络层集合。