tensorflow/model-optimization

A toolkit to optimize ML models for deployment for Keras and TensorFlow, including quantization and pruning.

What it solves

머신러닝 모델을 최적화하기 위한 도구 모음을 제공하여 배포 및 실행 시 효율성을 높여줍니다.

How it works

이 툴킷은 양자화 및 희소 가중치(sparse weights)를 위한 가지치기 기술을 사용하여 모델 크기를 줄이고 성능을 향상시킵니다. 안정적인 Python API와 Keras를 위한 특정 통합 기능을 포함합니다.

Highlights

  • 양자화 지원
  • 희소 가중치를 위한 가지치기
  • Keras 전용 API
  • 안정적인 Python API

관련

  • 프로젝트
    SonySemiconductorSolutions/mct-model-optimization

    MCT는 소니 반도체 솔루션즈의 모델 압축 툴킷으로, 학습된 PyTorch 및 Keras 모델을 양자화하고 가지치기하여 효율적인 엣지 배포를 지원하며, PTQ, GPTQ, QAT, 혼합 정밀도 탐색 및 하드웨어 인식 최적화 기능을 제공합니다.

  • 프로젝트
    PrunaAI/pruna

    양자화와 프루닝 같은 압축 알고리즘을 사용해 AI 모델을 더 빠르고, 작게, 저렴하게 실행할 수 있게 하는 모델 최적화 프레임워크.

  • 프로젝트
    vllm-project/llm-compressor

    LLM Compressor는 vLLM으로 빠르고 메모리 효율적인 추론을 위해 대규모 언어 모델을 양자화하고 압축하는 Python 라이브러리입니다. FP8, FP4, INT4와 같은 다양한 저비트 형식과 GPTQ, AWQ, AutoRound, REAP 등 다양한 알고리즘을 지원하며, 디스크 오프로딩과 DDP를 통해 수조 매개변수 모델을 처리할 수 있습니다. 이 라이브러리는 Hugging Face 체크포인트와 직접 통합되고, `compressed-tensors` 형식으로 모델을 저장하며, 바로 사용할 수 있는 예제와 사전 압축 체크포인트를 제공합니다.

  • 프로젝트
    fairlearn/fairlearn

    Fairlearn은 데이터 과학자가 AI 모델의 편향을 평가하고 완화할 수 있는 도구를 제공하는 Python 라이브러리로, 그룹 공정성과 할당 또는 서비스 품질 관련 피해를 줄이는 데 중점을 둡니다.

  • 프로젝트
    rasbt/mlxtend

    데이터 과학 작업을 위한 머신러닝 확장을 제공하는 Python 라이브러리로, 앙상블 방법, 특징 선택, 시각화 유틸리티 포함.