omnimind-ai/OmniInfer

Unified, efficient, and easy-to-use inference infrastructure for edge AI || 面向端侧 AI 的统一、高效、易用的推理基础设施

OmniInfer – 快速概览

是什么 – OmniInfer 是一个跨平台推理引擎，可让您在从台式电脑到手机的任意设备上本地运行大语言模型（LLM）和视觉语言模型（VLM）。它隐藏了模型编译、硬件特定优化和 API 连接的复杂细节，提供单一命令行工具（omniinfer）和兼容 OpenAI/Anthropic 的 HTTP 服务器。

主要功能

  • 多后端支持 – 支持不断增长的运行时列表（llama.cpp、stable-diffusion.cpp、MNN、MLX、TurboQuant、LiteRT-LM、ExecuTorch QNN 等）。该工具可自动为当前设备选择最佳后端。
  • LLM 和 VLM 推理 – 处理纯文本模型以及 Qwen-VLA 等视觉语言模型，提供用于聊天的终端 UI 和用于视觉任务的浏览器仪表板。
  • 跨平台 – 为 Linux x64、macOS arm64、Windows x64 提供预构建安装程序，外加 Android（Gradle）和 iOS（Swift 包）模块。
  • 本地 API 兼容性 – 公开 OpenAI 风格和 Anthropic 风格的端点（omniinfer serve），使现有客户端代码能够与本地托管的模型通信。
  • 硬件感知优化 – 提供上下文长度、GPU 卸载、KV 缓存大小和后端特定启动标志的调节选项。

典型工作流程

  1. 使用一行脚本（curl/PowerShell）安装 CLI。
  2. 运行 omniinfer；TUI 会建议兼容的后端，如有需要则下载它，并让您选择本地可用的 GGUF 模型。
  3. 直接在终端中聊天，或启动 omniinfer serve 以获取供其他应用使用的 HTTP API。

为何重要 – 本地运行 LLM/VLM 可避免云成本、延迟和数据隐私问题。OmniInfer 的“一次编写，随处运行”方法使开发人员、研究人员和爱好者更容易在配置一般的硬件上试验最先进的模型（例如 Qwen-3.8-27B）。

文档与社区 – 该仓库包含安装、CLI 使用、API 参考、模型加载、远程访问、基准测试和移动嵌入的详细指南。欢迎通过标准的 CONTRIBUTING.md 做出贡献。

TL;DR

OmniInfer = 一个快速、多后端、跨平台的 CLI + 本地 API，可在任何设备上运行 LLM 和 VLM，安装简便且具备硬件感知优化。

相关

  • 项目
    sophgo/LLM-TPU

    LLM-TPU is an open‑source toolkit that compiles HuggingFace LLM/VLM checkpoints into SOPHGO TPU‑specific bmodels and provides ready‑to‑run Python/C++ demos, supporting quantization, KV‑cache, dynamic shapes, and multi‑chip parallelism.

  • 项目
    llmmanorg/llmman

    llmman 是一个 CLI/守护进程，通过将模型视为 OCI 容器镜像，可以在任何模型（本地或托管）上运行任何 LLM 风格代理（Claude Code、Codex、Copilot 等）。它支持多个后端（llama.cpp、vLLM、sglang、mlx-lm），提供统一的 Ollama/OpenAI/Anthropic API，支持注册表到注册表的模型传输、使用 cosign 签名以及将多台机器聚合为一个端点。

  • 项目
    flashinfer-ai/flashinfer

    FlashInfer 是一个 GPU 内核库（附带 Python 包），为 LLM 推理提供超高速、低精度的注意力、GEMM、MoE 和采样操作。它能自动为从 Turing 到 Blackwell 的广泛 NVIDIA GPU 选择最佳后端（FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM），并已被 vLLM 和 TensorRT-LLM 等主流推理服务器广泛采用。

  • 项目
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS) 是一个 C++ 推理服务器，通过 OpenAI 兼容 REST 或 KServe gRPC API 提供 LLM、视觉-语言模型和经典深度学习模型。专为 Intel CPU、GPU 和 NPU 优化，支持连续批处理、流式传输、模型版本控制、热重载和 Prometheus 指标。可通过 Docker、裸金属二进制文件或 Kubernetes 部署，支持多种模型格式（TensorFlow、ONNX、OpenVINO IR、GGUF 等），并与标准客户端库集成。

  • 项目
    ztxz16/fastllm

    FastLLM 是一个基于 C++ 的、无需 PyTorch 的大型语言模型推理引擎。它支持稠密和 MoE 模型、混合 GPU/CPU/NUMA/磁盘部署、多 GPU 张量并行、推测解码（MTP/DSpark/DFlash2）、多种量化格式，并提供 Python CLI、Web UI 和 OpenAI 兼容的 API 服务器。通过 `pip install ftllm` 安装，使用 `ftllm run` 运行模型，或使用 `ftllm server` 启动服务。详尽的文档涵盖模型特定指南、性能调优和社区支持。