microsoft/onnxruntime-genai

Generative AI with ONNX Runtime

解决的问题

提供一种高性能且灵活的方式，在本地设备上运行生成式 AI 模型（特别是 LLM），处理生成式 AI 的复杂循环，包括预处理、推理和后处理。

实现了 ONNX 模型的生成式 AI 循环。包括管理 KV 缓存、logits 处理、搜索与采样，以及预处理/后处理。支持广泛的硬件加速选项（CPU、CUDA、DirectML、OpenVINO、QNN、WebGPU），并兼容多种模型架构，如 Llama、Phi、Mistral 和 Gemma。

希望使用 ONNX Runtime 将生成式 AI 功能集成到应用程序中的开发者，目标操作系统包括 Linux、Windows、Mac、Android，硬件架构包括 x86、x64、arm64。

项目
qualcomm/GenieX
适用于高通骁龙设备的设备端 Gen AI 推理运行时，可使用 NPU、GPU 或 CPU 在本地运行 LLM 和 VLM。
项目
mlc-ai/web-llm
一个高性能的浏览器内 LLM 推理引擎，使用 WebGPU 在本地运行语言模型，无需服务器端处理。
项目
google-ai-edge/LiteRT-LM
一个用于在设备端运行高性能、跨平台 LLM 的生产级编排层，并支持硬件加速。
项目
nobodywho-ooo/nobodywho
一个可在移动、桌面和可穿戴设备上本地且离线运行 LLM、语音识别和文本转语音的设备端推理引擎。
项目
NVIDIA/TensorRT-LLM
TensorRT‑LLM 是 NVIDIA 的开源库，可将大型语言模型（以及视觉生成模型）编译成超快的 TensorRT 推理引擎。它提供自定义 CUDA 内核、量化、稀疏注意力、推测解码和多 GPU 并行，在保持准确性的同时，令牌吞吐量提高 2-10 倍。Python 友好的运行时与 Triton、Kubernetes 和 Jetson 集成，并包含 GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1 和扩散模型等模型的文档和示例。