openvinotoolkit/nncf

Neural Network Compression Framework for enhanced OpenVINO™ inference

何を解決するか

NNCFは、モデルのサイズと複雑さを削減することで、ニューラルネットワークの推論を最適化し、精度の損失を最小限に抑えながら、より高速に、より少ないリソースで実行できるようにします。PyTorch、ONNX、OpenVINOバックエンドのモデルを圧縮するためのツールを提供します。

動作方法

NNCFは、主に2つのカテゴリに分類されるさまざまな圧縮アルゴリズムを使用します。

  • 訓練後圧縮: モデルの訓練が完了した後に適用されるアルゴリズムで、モデルの最適化には小さなキャリブレーションデータセットのみが必要です。これには、訓練後量子化（PTQ）と重み圧縮が含まれます。
  • 訓練時圧縮: 訓練またはファインチューニングプロセスに統合されるアルゴリズムです。これには、量子化感知訓練（QAT）、プルーニング、およびLoRAとNLSを用いた重みのみ量子化感知訓練が含まれます。

対象ユーザー

推論速度とメモリ効率が重要な生産環境にニューラルネットワークをデプロイする必要がある開発者やMLエンジニア向けに設計されています。特にOpenVINOツールキットを使用する場合に適しています。

特徴

  • マルチバックエンド対応: PyTorch、TorchFX、ONNX、OpenVINOに対応しています。
  • 包括的なツールセット: 訓練後圧縮と量子化感知訓練の両方を提供します。
  • GPUアクセラレーション: 圧縮モデルの高速なファインチューニングを実現するGPUアクセラレーテッドレイヤーを含みます。
  • 統合性: 圧縮手法の共通インターフェースを提供し、分散学習もサポートしています。

関連

  • プロジェクト
    openvinotoolkit/openvino

    CPU、GPU、および NPU ハードウェア上でディープラーニングモデルを最適化および展開するためのオープンソース ツールキット。

  • プロジェクト
    intel/neural-compressor

    PyTorch、TensorFlow、JAX モデル向けのオープンソース Python ライブラリで、モデル圧縮および量子化技術を提供し、推論効率を向上させます。

  • プロジェクト
    pnnx/pnnx

    pnnxは、PyTorchモデルを最適化し、軽量で依存関係のない形式（PNNX）およびncnn/ONNX-zeroファイルにエクスポートできるオープンソースツールで、エッジデバイスでの高速推論を可能にします。

  • プロジェクト
    Neroued/ninfer

    NVIDIA RTX 5090向けに最適化されたC++/CUDA推論エンジンで、テキスト、画像、ビデオにわたるQwen3.5 DenseおよびMoEモデルに最大のパフォーマンスを提供します。

  • プロジェクト
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS) は、OpenAI互換のRESTまたはKServe gRPC APIを介してLLM、ビジョン・ランゲージモデル、および古典的なディープラーニングモデルを提供するC++推論サーバーです。Intel CPU、GPU、NPUに最適化されており、継続的バッチ処理、ストリーミング、モデルバージョニング、ホットリロード、Prometheusメトリクスなどの機能を提供します。Docker、バーマルバイナリ、Kubernetes経由でデプロイ可能で、TensorFlow、ONNX、OpenVINO IR、GGUFなど多くのモデルフォーマットをサポートし、標準的なクライアントライブラリと統合可能です。