alibaba/MNN

MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

解決する課題

ディープラーニングモデルは、モバイル電話、組み込みデバイス、またはIoTハードウェアで実行するには、サイズが大きすぎたり計算コストが高すぎたりすることがよくあります。MNNは、重い依存関係を必要とせずに、さまざまなプラットフォーム上でこれらのモデルをローカルにデプロイするための、非常に効率的で軽量なソリューションを提供します。

仕組み

MNNは、ARMおよびx64 CPU向けに最適化されたアセンブリコードを使用しており、GPUに対してはMetal、OpenCL、Vulkan、CUDAを介したハードウェアアクセラレーションをサポートしています。また、TensorFlow、ONNX、PyTorchなどの形式からMNN形式にモデルを変換するコンバーターが含まれており、モデルサイズを大幅に削減して速度を向上させるための量子化（FP16/Int8）も提供しています。

対象者

  • モバイルおよびIoT開発者: Android、iOS、または組み込みデバイス上でAIモデル（LLMや画像エディタなど）をローカルで実行する必要がある方。
  • MLエンジニア: シンプルなPython APIまたはC++を使用して、複雑なモデルをエッジデバイスにデプロイしたい方。
  • アプリ開発者: 既存のアプリケーション内で、軽量なコンピュータビジョンまたは言語モデル機能を探している方。

ハイライト

  • 極めて軽量: コアAndroidライブラリは約800KB、iOS静的ライブラリは約12MBです。
  • 幅広いモデルサポート: TensorFlow、Caffe、ONNX、Torchscriptsと互換性があります。
  • 高いパフォーマンス: ARM、x86、NVIDIA GPUを含むさまざまなアーキテクチャ向けに最適化されています。
  • 多才なランタイム: 大規模言語モデル（MNN-LLM）およびStable Diffusion（MNN-Diffusion）向けの特化型ソリューションが含まれています。