IBM/aihwkit

IBM Analog Hardware Acceleration Kit

解決する課題

IBM Analog Hardware Acceleration Kit (aihwkit) は、メモリと演算ユニットを分離することで生じる効率低下である「フォン・ノイマン・ボトルネック」に対処します。データが保存されている場所で直接計算を行うアナログ・インメモリ・コンピューティング (AIMC) ハードウェアの探索とシミュレーションを可能にし、AIワークロードの速度とエネルギー効率を大幅に向上させます。

仕組み

このツールキットは、アナログデバイス (相変化メモリやRRAMなど) の物理的特性やクロスバー構成をモデル化する、高性能なC++シミュレーター (CUDA対応) を提供します。PyTorchと直接統合されており、標準的なニューラルネットワーク層をアナログバージョン (全結合層、畳み込み層、LSTM) に置き換えたり、専用のアナログオプティマイザー (AnalogSGDなど) を使用したりすることができます。

対象ユーザー

アナログAIハードウェアのシミュレーションを行いたい、物理的なノイズや非理想特性に対して堅牢なモデルを作成するためのハードウェア認識トレーニングを実行したい、あるいはインメモリ・コンピューティングデバイスの材料仕様を検討したいAI研究者やハードウェアエンジニア向けです。

主な特徴

  • PyTorch統合: PyTorch内でアナログニューラルネットワークモジュールとトレーニングワークフローをシームレスに使用可能。
  • ハードウェア認識トレーニング: フォワードパスにノイズや非理想特性を含めることで、実際のハードウェア上でモデルが動作することを保証。
  • 高性能シミュレーター: デバイスの変動、ADC/DACの離散化、確率的更新パルス列をモデル化するためのCUDA対応C++シミュレーター。
  • モデル変換: 事前学習済みの標準モデルを同等のアナログモデルに自動変換するユーティリティ。
  • 幅広いハードウェアサポート: CUDA経由でNVIDIA GPUを、ROCm/HIP経由でAMD GPUをサポート。

関連

  • プロジェクト
    qualcomm/aimet

    AIMETは、PyTorch/ONNXモデルを量子化および圧縮するためのQualcommのオープンソースツールキットであり、精度低下を最小限に抑えつつ、エッジデバイス上で高速かつ低メモリな推論を可能にします。

  • プロジェクト
    pytorch/benchmark

    PyTorch Benchmarks は、BERT、ResNet、Stable Diffusionなど人気のあるディープラーニングモデルの標準化・軽量版のコレクションであり、異なるPyTorchビルド、CUDAバージョン、バックエンドのパフォーマンスを測定するために実行できます。均一なAPI、インストールスクリプト、複数のランナー（シンプルテスト、pytest-benchmark、カスタムユーザーベンチマーク）に加え、AWS g4dn.metalインスタンスでの低ノイズチューニング用のユーティリティも提供しています。

  • Dispatch
    Hugging Face Accelerate: PyTorchで大規模モデルを実行する

    Hugging Face Accelerateは、PyTorch の meta デバイスとシャーディングチェックポイントを活用し、GPU、CPU RAM、ディスクにまたがるメモリ管理を行うことで、コンシューマーハードウェア上で巨大な AI モデルの実行を可能にします。

  • プロジェクト
    DashAISoftware/dashAI

    dashAIは、最新のAIモデル（特にLLM）のトレーニング、評価、デプロイを行うためのクロスプラットフォームなグラフィカルツールボックスです。すぐに使えるインストーラー、PyPIパッケージ、Dockerイメージを提供し、CPUのみの動作やCUDA/ROCm GPUアクセラレーションをサポートしています。また、実験管理、データセット処理、データベース移行機能も含まれています。

  • プロジェクト
    SYSTRAN/faster-whisper

    faster-whisper は、高性能な CTranslate2 推論エンジンを使用して OpenAI の Whisper 音声認識モデルを再実装した Python ライブラリです。同等の精度で最大 4 倍高速な文字起こしを実現し、CPU、GPU、8 ビット量子化をサポートし、単語レベルのタイムスタンプ、VAD フィルタリング、バッチ推論などの機能を提供します。pip でインストールし、モデルサイズ（例：「large-v3」）を選択し、デバイス/精度を指定して WhisperModel を作成し、`transcribe` を呼び出します。ライブキャプション、バッチ処理、または低遅延・低メモリで Whisper 品質の文字起こしが必要なあらゆるプロジェクトに最適です。