tensorflow/model-optimization

A toolkit to optimize ML models for deployment for Keras and TensorFlow, including quantization and pruning.

What it solves

機械学習モデルを最適化するためのツールスイートを提供し、デプロイと実行の効率を高めます。

How it works

このツールキットは、量子化やスパースな重みのプルーニングなどの技術を使用して、モデルのサイズを縮小し、パフォーマンスを向上させます。安定した Python API と Keras 用の特定の統合が含まれています。

Highlights

  • 量子化のサポート
  • スパースな重みのプルーニング
  • Keras 用の専用 API
  • 安定した Python API

関連

  • プロジェクト
    SonySemiconductorSolutions/mct-model-optimization

    MCTはソニーセミコンダクタソリューションズが提供するモデル圧縮ツールキットです。学習済みPyTorchおよびKerasモデルを量子化・剪定してエッジデバイスへの効率的なデプロイを可能にし、PTQ、GPTQ、QAT、混合精度探索、ハードウェア認識最適化を提供します。

  • プロジェクト
    PrunaAI/pruna

    量子化やプルーニングなどの圧縮アルゴリズムを使用して、AI モデルを高速化・小型化・低コスト化するモデル最適化フレームワーク。

  • プロジェクト
    vllm-project/llm-compressor

    LLM Compressor 是一个 Python 库，用于量化和压缩大型语言模型，以便通过 vLLM 实现快速、低内存推理。它支持多种低位格式（FP8、FP4、INT4）、多种算法（GPTQ、AWQ、AutoRound、REAP），并可通过磁盘卸载和 DDP 处理数万亿参数模型。该库直接与 Hugging Face 检查点集成，以 `compressed-tensors` 格式保存模型，并提供即用示例和预压缩检查点。

  • プロジェクト
    fairlearn/fairlearn

    Fairlearnは、データサイエンティストがAIモデルのバイアスを評価・緩和するためのツールを提供するPythonライブラリであり、グループの公平性と、割り当てやサービス品質に関する不利益の軽減に重点を置いています。

  • プロジェクト
    rasbt/mlxtend

    データサイエンスタスクのための機械学習拡張を提供するPythonライブラリ。アンサンブル手法、特徴選択、可視化ユーティリティを含む。