apache/tvm
Open Machine Learning Compiler Framework
What it solves
Apache TVMは、オープンソースの機械学習コンパイルフレームワークであり、機械学習コンパイラへのアクセスを容易にすることを目的としています。様々なハードウェア上でモデルを最小限のデプロイ可能モジュールとしてデプロイすることを解決し、つつ、開発者がPython-firstのアプローチを通じてコンパイラパイプラインをカスタマイズできるようにします。
How it works
TVMは、TensorIRによるテンソルレベルの表現と、Relaxによるグラフレベルの表現を特徴とするクロスレベル設計を採用しています。これにより、フレームワークは計算グラフ、テンソルプログラム、およびライブラリを共同で最適化することが可能です。LLMなどの特定ドメインのための垂直コンパイラを構築するための基盤インフラストラクチャとして設計されています。
Who it’s for
異なるハードウェアターゲットに対して機械学習モデルを最適化およびデプロイする必要がある開発者や研究者、およびAI分野のドメイン特定コンパイラを構築している人々を対象としています。
Highlights
- Python-firstの開発により、コンパイラパイプラインの迅速なカスタマイズが可能です。
- 最小限のデプロイ可能モジュールを作成するための、ユニバーサルなデプロイメント能力を備えています。
- クロスレベル表現（TensorIRおよびRelax）による共同最適化。
- LLMなどのドメインのための垂直コンパイラを構築するための基盤として機能します。
関連
- プロジェクト
- プロジェクト
dotnet/machinelearningML.NET は、.NET 向けのオープンソースでクロスプラットフォームの機械学習フレームワークであり、データの読み込み、変換、アルゴリズムのカタログ、TensorFlow/ONNX モデルのサポートを提供し、`Microsoft.ML` NuGet パッケージを介して利用できます。
- プロジェクト
google-ai-edge/mediapipeMediaPipe は、Google が提供するオープンソースのフレームワークで、高速なオンデバイス機械学習パイプライン（グラフと呼ばれる）を構築するためのものです。ハンドトラッキング、ポーズ推定、物体検出、テキスト・音声分類器などの既製のソリューションが含まれており、開発者はこれらを Android、iOS、Web、デスクトップ、その他のエッジデバイスに組み込むことができます。
- プロジェクト
vllm-project/vllm-omnivLLM‑Omni は、vLLM 推論エンジンのオープンソース拡張であり、マルチモーダルモデル（テキスト、画像、音声、ビデオ、アクション）向けの高速でスケーラブルなサービングを追加します。自己回帰および拡散スタイルのアーキテクチャの両方をサポートし、フルデュプレックスリアルタイム API を提供し、GPU、NPU、その他のアクセラレータで動作し、多くの人気 Hugging Face モデル向けのすぐに実行できるレシピが含まれています。このプロジェクトは本番グレードで、Apache-2.0 ライセンスであり、ドキュメント、Slack コミュニティ、最近の技術レポートによってサポートされています。
- プロジェクト
microsoft/FLAMLリソース制約下でもモデルのパフォーマンスを最適化する、効率的な自動機械学習およびハイパーパラメータチューニングを実現する軽量なPythonライブラリ。