Rust 中的 GPU 卸载：可移植、安全且快速

High-Performance GPU Programming with Rust Memory Safety

研究人员推出了一种零开销、多厂商的 GPU 编译框架，该框架直接集成在 Rust 编译器 (rustc) 和 LLVM 后端中。该框架允许 Rust 开发人员在不牺牲内存安全性或依赖厂商锁定的领域特定语言 (DSLs) 的情况下在 GPU 上执行代码，实现了与手工优化的 CUDA 和 HIP C++ 基准测试相当的性能。

Integration with rustc and LLVM Offload

该框架利用现有的 LLVM Offload 基础设施来管理数据传输和内核执行。通过原生集成到编译器中，该系统避免了通常与外部封装器或模拟层相关的开销。

Leveraging Rust's Type System

为了确保效率和安全性，该框架利用了 Rust 语言的几个核心特性：

• Ownership and Borrowing: Rust 的所有权模型被用于管理 GPU 上的内存生命周期，确保数据在内核执行期间始终有效。
• Strict Aliasing (noalias): 该框架使用 Rust 的严格别名保证来优化数据传输和内存访问模式。
• Two-Pass Compilation: 为了解决主机 (CPU) 与设备 (GPU) 目标之间的跨厂商 ABI (Application Binary Interface) 降低不匹配问题，该框架采用了两阶段编译流水线。该流水线可以安全地处理手动和编译器生成的内存移动。

Performance and Portability

使用 RAJAPerf 基准测试套件进行的评估表明，基于 rustc 的解决方案为 GPU 内核生成了具有竞争力的 LLVM IR。最终的性能与使用 CUDA (NVIDIA) 和 HIP (AMD) 的原生、手工优化的 C++ 实现相当。

Multi-Vendor Support

与许多将开发人员锁定在单一硬件生态系统中的 GPU 框架不同，该框架通过 LLVM 后端为针对 NVIDIA 和 AMD GPU 提供了一条可移植的路径，减少了为不同硬件厂商维护单独代码库的需求。

Community Insights and Technical Discussion

开发者和研究人员之间的讨论突出了这种方法与现有替代方案相比的潜力和挑战。

Advantages over Existing Solutions

一些开发者指出，这种方法解决了与 LLM 推理引擎和其他高性能计算 (HPC) 任务相关的 "bindings headache" (即绑定头痛问题)。通过在 GPU 上运行 Rust 核心，开发人员可以避免维护复杂的 C++ 绑定。

"In many of my custom LLM inference engine projects, the biggest fight has always been bindings. I don't want to maintain and write bindings... Running Rust core on GPU sounds like something I will try from day one."

此外，一些人认为 Rust 的所有权跟踪为管理 GPU 内存生命周期提供了相对于 C++ 的原生优势。

Technical Critiques and Alternatives

基于 LLVM 的方法的批评者建议，直接从 Rust 的 Mid-level Intermediate Representation (MIR) 针对 PTX 或 HIP C 进行优化可能会更有效。其他人指出， existing vendor-neutral solutions, such as using Vulkan bindings with SPIR-V kernels (written in HLSL/GLSL/WGSL), already provide a path to GPU compute.

Comparison to rust-gpu

该论文识别出了与 rust-gpu 项目的一个关键区别因素：对指针的处理。作者指出，在 rust-gpu 中模拟指针是一个 "blocking issue for most HPC benchmarks" (即对于大多数 HPC 基准测试来说是一个阻碍性问题)，这表明该框架与 LLVM Offload 的集成提供了为高性能科学计算提供一条更可行的路径。