google/ml-compiler-opt

Infrastructure for Machine Learning Guided Optimization (MLGO) in LLVM.

解決的問題

透過以機器學習模型取代 LLVM 編譯器中手動撰寫的優化啟發式規則，提升編譯器在程式碼大小與效能方面的優化效果。

工作原理

MLGO 將機器學習技術整合至 LLVM 中，以取代傳統的啟發式規則。它使用策略梯度等演算法，訓練特定編譯器任務的策略。目前框架主要聚焦於兩項主要優化：針對大小的內嵌優化與針對效能的暫存器配置優化。

適用對象

希望使用機器學習模型而非手動啟發式規則來優化 LLVM 編譯流程的編譯器工程師與開發者。

主要亮點

  • 支援針對大小的內嵌優化與針對效能的暫存器配置優化。
  • 使用策略梯度演算法訓練策略。
  • 提供訓練基礎設施與工具，用於建立自訂模型。
  • 提供可直接透過 CMake 標記整合至 LLVM 中的預訓練模型。

相關

  • 專案
    sophgo/tpu-mlir

    一個基於 MLIR 的機器學習編譯器，可將 PyTorch 和 ONNX 等框架中的預訓練神經網路轉換為適用於 TPU 執行的優化 bmodel 檔案。

  • 專案
    allenai/OLMo-core

    為 OLMo 系列大語言模型提供的構建模組與訓練基礎設施庫，提供官方訓練腳本與優化的硬體核心。

  • 專案
    evidentlyai/evidently

    一個開源的 Python 框架，用於評估、測試與監控 ML 與 LLM 驅動的系統，協助開發者偵測資料漂移並確保輸出品質。

  • 專案
    context-labs/HALO

    一種基於 RLM 的代理優化器，透過分析生產執行軌跡來識別系統性故障模式，並提供改進代理框架的建議。

  • 專案
    vllm-project/llm-compressor

    LLM Compressor 是一個 Python 庫，可將大型語言模型量化並剪枝為 `compressed-tensors` 格式，實現 vLLM 的記憶體高效部署。支援多種低精度格式（NVFP4、FP8、INT4 等）、多種 PTQ/GPTQ 算法、DDP 和磁碟卸載以處理超大模型，並提供多個熱門 LLM 的預量化檢查點。