Tencent/ncnn

解決する課題

ncnn は、リソースが制限された環境でディープラーニングモデルを実行（推論）するための高性能なフレームワークを提供します。開発者は、PyTorch などのフレームワークでトレーニングされたモデルを、重いサードパーティのランタイム依存関係を必要とせずに、携帯電話、組み込みシステム、デスクトップコンピュータ、Web ブラウザへ効率的にデプロイできます。

仕組み

このフレームワークは、変換ツール (pnnx) と軽量な推論エンジンの2つの部分で構成されています。開発者はまず、pnnx を使用して PyTorch または ONNX モデルを ncnn 形式に変換します。変換後、CPU と Vulkan GPU 加速の両方をサポートする ncnn エンジンがこれらのモデルを読み込んで推論を実行します。自己完結型になるように設計されているため、外部のランタイムライブラリに依存せず、さまざまなハードウェアアーキテクチャ間で高い移植性を実現しています。

対象ユーザー

このプロジェクトは、パフォーマンスと最小限の依存関係が重要となるエッジデバイス、モバイルアプリ、またはデスクトップアプリケーションに AI モデルをデプロイする必要があるソフトウェアエンジニアや機械学習の実務者を対象としています。WeChat や QQ といった主要なアプリケーションを含む、本番環境で広く使用されています。

ハイライト

• モバイル、組み込み、デスクトッププラットフォーム向けに最適化された高性能推論。
• 統合を容易にするゼロ・サードパーティ・ランタイム依存関係。
• CPU と Vulkan GPU 加速の両方を利用するデュアルバックエンドサポート。
• PyTorch および ONNX モデルからのシームレスな変換を行う pnnx を同梱。
• Android、iOS、Windows、Linux、macOS、WebAssembly、およびさまざまなエッジコンピューティングプラットフォームを含む幅広いハードウェアサポート。