智能CUDA内核优化器：自动化GPU性能调优
智能CUDA内核优化器是一个自动化框架，能够将高层次的工作负载描述转换为优化的GPU实现。通过采用代码生成、正确性验证和性能基准测试的闭环循环，该系统迭代优化CUDA内核，以在保持功能正确性的前提下最大化执行速度。
自动化优化工作流
该优化器采用基于LangGraph的工作流，探索内核实现和启动配置的空间。该过程遵循结构化的迭代循环：
- 初始化：系统加载或生成内核签名、输入用例、用于正确性验证的参考实现以及初始内核候选。
- 评估：执行参考内核，并对初始实现进行延迟基准测试。
- 迭代优化：代理提出对内核代码或启动配置的修改。这些候选通过NVRTC编译，并通过CUDA Driver API启动。
- 验证：每个候选必须通过验证，即与参考结果（使用NumPy）进行比较，以确保正确性没有退化。
- 选择：保留最快且通过验证的候选作为最佳实现。排名基于性能用例中延迟的几何平均值，不包括编译和分析器重放时间。
技术架构
该系统将高层编排与底层GPU执行环境分离：
- 编排层：基于LangGraph和Python，该层处理代理逻辑、候选选择以及外部工具的集成。
- 执行封装器：一个独立的C++封装器使用NVRTC编译内核，并通过CUDA Driver API执行它们，确保GPU结果被捕获并保存，供Python层分析。
- 工具集成：代理可选择性地使用Nsight Compute检查GPU性能计数器，并获取NVIDIA文档以获得优化指导，使模型能够基于数据驱动的决策进行内核优化。
性能测量与验证
为确保可靠的基准测试，系统使用CUDA事件进行计时。每个用例执行10次预热启动，随后进行100次测量启动。正确性通过将候选内核的输出与参考内核或基于NumPy的预言机进行比较来验证。
尽管该系统旨在优化单个内核，但作者指出，通过提供的输入用例并不能保证普遍正确性，且生成的参考内核并非独立的预言机。
社区见解与考量
开发人员之间的讨论突显了在智能优化中保持正确性的挑战。一位贡献者指出，此类系统的主要难点并非找到更快的内核，而是证明更快的版本没有引入细微的错误：
"你是如何处理内核变体之间的回归测试的？感觉智能优化器最难的部分不是找到更快的内核，而是证明更快的那个没有悄悄破坏某些东西"
其他用户质疑智能循环相较于单次提示方法（例如使用Claude Code）的价值，认为迭代反馈循环——特别是真实GPU性能计数器和编译错误的集成——是使代理能够导航CUDA优化复杂搜索空间的关键差异点。