google/ml-compiler-opt

Infrastructure for Machine Learning Guided Optimization (MLGO) in LLVM.

解决的问题

通过用机器学习模型替换 LLVM 编译器中手工编写的优化启发式规则，提升编译器在代码大小和性能方面的优化效果。

工作原理

MLGO 将机器学习技术集成到 LLVM 中，以替代传统的启发式规则。它使用策略梯度等算法来训练特定编译器任务的策略。该框架目前重点关注两项主要优化：面向大小的内联优化和面向性能的寄存器分配优化。

适用人群

希望使用机器学习模型而非手动启发式规则来优化 LLVM 编译过程的编译器工程师和开发者。

主要亮点

  • 支持面向大小的内联优化和面向性能的寄存器分配优化。
  • 使用策略梯度算法训练策略。
  • 提供训练基础设施和工具，用于创建自定义模型。
  • 提供可直接通过 CMake 标志集成到 LLVM 中的预训练模型。

相关

  • 项目
    sophgo/tpu-mlir

    一个基于 MLIR 的机器学习编译器，可将 PyTorch 和 ONNX 等框架中的预训练神经网络转换为适用于 TPU 执行的优化 bmodel 文件。

  • 项目
    allenai/OLMo-core

    为 OLMo 系列大语言模型提供的构建模块和训练基础设施库，提供官方训练脚本和优化的硬件内核。

  • 项目
    evidentlyai/evidently

    一个开源的 Python 框架，用于评估、测试和监控 ML 与 LLM 驱动的系统，帮助开发者检测数据漂移并确保输出质量。

  • 项目
    context-labs/HALO

    一种基于 RLM 的代理优化器，通过分析生产执行轨迹来识别系统性故障模式，并提供改进代理框架的建议。

  • 项目
    vllm-project/llm-compressor

    LLM Compressor 是一个 Python 库，可将大型语言模型量化并剪枝为 `compressed-tensors` 格式，实现 vLLM 的内存高效部署。支持多种低精度格式（NVFP4、FP8、INT4 等）、多种 PTQ/GPTQ 算法、DDP 和磁盘卸载以处理超大模型，并提供多个热门 LLM 的预量化检查点。