microsoft/onnxruntime-genai

Generative AI with ONNX Runtime

何を解決するか

ONNXモデル用の生成AIループを実装します。KVキャッシュの管理、ロジット処理、検索およびサンプリング、および前処理/後処理を含みます。CPU、CUDA、DirectML、OpenVINO、QNN、WebGPUなど幅広いハードウェアアクセラレーションオプションをサポートし、Llama、Phi、Mistral、Gemmaなどの複数のモデルアーキテクチャに対応しています。

動作方法

生成AIの完全なループ（前処理からサンプリングまで）を処理する、ONNX Runtimeを用いた高性能なオンデバイス推論エンジンです。特に、LLM（大規模言語モデル）をローカルでデバイス上で実行するための柔軟かつ効率的な方法を提供します。

対象ユーザー

ONNX Runtimeを使用して生成AI機能をアプリケーションに統合したい開発者。Linux、Windows、Mac、Androidなどさまざまなオペレーティングシステムと、x86、x64、arm64などのハードウェアアーキテクチャをターゲットにしています。

特徴

マルチ-LoRAサポート
制約付きおよび連続デコード
Llama、Phi、Mistralなどを含む広範なモデルアーキテクチャ対応
Python、C#、C/C++、Java向けのクロスプラットフォームAPIサポート
CUDAやDirectMLを含む豊富なハードウェアアクセラレーションオプション

関連

プロジェクト
qualcomm/GenieX
Qualcomm Snapdragonデバイス向けのオンデバイスGen AI推論ランタイムで、NPU、GPU、またはCPUを使用してLLMとVLMをローカルで実行可能。
プロジェクト
mlc-ai/web-llm
WebGPUを使用してサーバーサイド処理なしで言語モデルをローカルに実行する、高性能なブラウザ内LLM推論エンジン。
プロジェクト
google-ai-edge/LiteRT-LM
ハードウェアアクセラレーションを活用し、デバイス上で高性能なクロスプラットフォームLLMを実行するための本番環境向けオーケストレーションレイヤー。
プロジェクト
nobodywho-ooo/nobodywho
モバイル、デスクトップ、ウェアラブルデバイスのあらゆるプラットフォームで、LLM、音声認識、音声合成をローカルかつオフラインで実行できるデバイス内推論エンジンです。
プロジェクト
NVIDIA/TensorRT-LLM
TensorRT‑LLM は、大規模言語モデル（およびビジュアル生成モデル）を超高速 TensorRT 推論エンジンにコンパイルする NVIDIA のオープンソースライブラリです。カスタム CUDA カーネル、量子化、スパースアテンション、投機的デコード、マルチ GPU 並列処理を提供し、精度を維持しながらトークンスループットを 2〜10 倍向上させます。Python フレンドリーなランタイムは Triton、Kubernetes、Jetson と統合され、GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1、拡散モデルなどのドキュメントと例が含まれています。