openvinotoolkit/nncf

Neural Network Compression Framework for enhanced OpenVINO™ inference

해결하는 문제

NNCF는 모델의 크기와 복잡성을 줄여 신경망의 추론을 최적화하여 정확도 손실을 최소화하면서 더 빠르고 더 적은 리소스로 실행할 수 있도록 합니다. PyTorch, ONNX, OpenVINO 백엔드 모델을 압축할 수 있는 도구를 제공합니다.

작동 방식

NNCF는 주로 두 가지 유형으로 분류되는 다양한 압축 알고리즘을 사용합니다.

  • 훈련 후 압축: 모델 훈련이 완료된 후 적용되는 알고리즘으로, 모델 최적화를 위해 작은 캘리브레이션 데이터셋만 필요합니다. 이에는 훈련 후 양자화(PTQ)와 가중치 압축이 포함됩니다.
  • 훈련 시 압축: 훈련 또는 파인튜닝 과정에 통합되는 알고리즘입니다. 이에는 양자화 감지 훈련(QAT), 프루닝, LoRA 및 NLS를 사용한 가중치만 양자화 감지 훈련이 포함됩니다.

대상 사용자

추론 속도와 메모리 효율이 중요한 생산 환경에 신경망을 배포해야 하는 개발자 및 ML 엔지니어를 위한 것입니다. 특히 OpenVINO 툴킷을 사용하는 경우에 적합합니다.

주요 특징

  • 다중 백엔드 지원: PyTorch, TorchFX, ONNX, OpenVINO와 호환됩니다.
  • 포괄적인 도구 세트: 훈련 후 압축과 양자화 감지 훈련 방법을 모두 제공합니다.
  • GPU 가속: 압축된 모델의 빠른 파인튜닝을 위한 GPU 가속 레이어를 포함합니다.
  • 통합성: 압축 방법에 대한 공통 인터페이스를 제공하며 분산 학습도 지원합니다.

관련

  • 프로젝트
    openvinotoolkit/openvino

    CPU, GPU 및 NPU 하드웨어에서 딥러닝 모델을 최적화하고 배포로 추론 성능을 높이는 오픈소스 툴킷입니다.

  • 프로젝트
    intel/neural-compressor

    PyTorch, TensorFlow, JAX 모델을 위한 오픈소스 Python 라이브러리로, 모델 압축 및 양자화 기법을 제공하여 추론 효율성을 향상시킵니다.

  • 프로젝트
    pnnx/pnnx

    pnnx는 PyTorch 모델을 최적화하고 경량이며 종속성 없는 형식(PNNX)과 ncnn/ONNX-zero 파일로 내보내는 오픈소스 도구로, 엣지 디바이스에서 빠른 추론을 가능하게 합니다.

  • 프로젝트
    Neroued/ninfer

    NVIDIA RTX 5090에 최적화된 C++/CUDA 추론 엔진으로, 텍스트, 이미지, 비디오에서 Qwen3.5 Dense 및 MoE 모델에 대한 최대 성능을 제공합니다.

  • 프로젝트
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS)는 OpenAI 호환 REST 또는 KServe gRPC API를 통해 LLM, 비전-언어 모델, 전통적인 딥러닝 모델을 제공하는 C++ 추론 서버입니다. Intel CPU, GPU, NPU에 최적화되어 있으며, 지속적 배치, 스트리밍, 모델 버전 관리, 핫 리로드, Prometheus 메트릭 등의 기능을 제공합니다. Docker, 바이너리, Kubernetes를 통해 배포 가능하며, TensorFlow, ONNX, OpenVINO IR, GGUF 등 다양한 모델 포맷을 지원하고 표준 클라이언트 라이브러리와 통합됩니다.