google/ml-compiler-opt

Infrastructure for Machine Learning Guided Optimization (MLGO) in LLVM.

해결하는 문제

LLVM 컴파일러 내의 수작업으로 작성된 최적화 히ュ리스틱을 기계학습 모델로 대체하여 코드의 크기와 성능 최적화를 향상시킵니다.

작동 방식

MLGO는 전통적인 히ュ리스틱을 대체하기 위해 기계학습 기법을 LLVM에 통합합니다. 특정 컴파일러 작업을 위한 정책을 학습하기 위해 정책 기울기(Policy Gradient)와 같은 알고리즘을 사용합니다. 현재 프레임워크는 두 가지 주요 최적화에 집중하고 있습니다: 크기 최적화를 위한 인라인화와 성능 최적화를 위한 레지스터 할당.

대상 사용자

수동 히ュ리스틱 대신 기계학습 모델을 사용하여 LLVM의 컴파일 프로세스를 최적화하고자 하는 컴파일러 엔지니어 및 개발자.

주요 특징

  • 크기 최적화를 위한 인라인화와 성능 최적화를 위한 레지스터 할당을 지원합니다.
  • 정책을 학습하기 위해 정책 기울기(Policy Gradient)를 사용합니다.
  • 사용자 정의 모델을 생성하기 위한 학습 인프라와 도구를 제공합니다.
  • CMake 플래그를 통해 직접 LLVM에 통합할 수 있는 사전 학습된 모델을 제공합니다.

관련

  • 프로젝트
    sophgo/tpu-mlir

    PyTorch 및 ONNX 등의 프레임워크에서 사전 훈련된 신경망을 TPU 실행을 위해 최적화된 `bmodel` 파일로 변환하는 MLIR 기반 머신러닝 컴파일러입니다.

  • 프로젝트
    allenai/OLMo-core

    OLMo 제품군 대규모 언어 모델을 위한 빌딩 블록 및 학습 인프라 라이브러리로, 공식 학습 스크립트와 최적화된 하드웨어 커널을 제공합니다.

  • 프로젝트
    evidentlyai/evidently

    오픈소스 Python 프레임워크로, ML 및 LLM 기반 시스템을 평가·테스트·모니터링하여 개발자가 데이터 드리프트를 감지하고 출력 품질을 보장하도록 돕습니다.

  • 프로젝트
    context-labs/HALO

    RLM 기반의 에이전트 최적화 도구로, 프로덕션 실행 트레이스를 분석하여 시스템적 실패 모드를 식별하고 에이전트 하네스 개선을 위한 권고를 제공합니다.

  • 프로젝트
    vllm-project/llm-compressor

    LLM Compressor는 대규모 언어 모델을 `compressed-tensors` 형식으로 양자화 및 절단하는 Python 라이브러리로, vLLM에서 메모리 효율적으로 배포할 수 있게 합니다. 다양한 저정밀도 형식(NVFP4, FP8, INT4 등), 여러 PTQ/GPTQ 알고리즘, DDP 및 디스크 오프로딩을 통한 거대 모델 지원, 인기 LLM의 사전 양자화 체크포인트를 제공합니다.