omnimind-ai/OmniInfer

Unified, efficient, and easy-to-use inference infrastructure for edge AI || 面向端侧 AI 的统一、高效、易用的推理基础设施

OmniInfer – クイック概要

概要 – OmniInferは、デスクトップPCからスマートフォンまで、あらゆるデバイス上で大規模言語モデル（LLM）および視覚言語モデル（VLM）をローカルに実行できるクロスプラットフォーム推論エンジンです。モデルコンパイル、ハードウェア固有の最適化、API配線などの複雑な詳細を隠蔽し、単一のコマンドラインツール（omniinfer）とOpenAI互換・Anthropic互換のHTTPサーバーを提供します。

主な機能

  • マルチバックエンド対応 – 拡大を続けるランタイムのリスト（llama.cpp、stable-diffusion.cpp、MNN、MLX、TurboQuant、LiteRT-LM、ExecuTorch QNNなど）に対応しています。ツールは現在のデバイスに最適なバックエンドを自動的に選択できます。
  • LLMおよびVLM推論 – テキストのみのモデルに加え、Qwen-VLAなどの視覚言語モデルも処理し、チャット用のターミナルUIと視覚タスク用のブラウザダッシュボードを提供します。
  • クロスプラットフォーム – Linux x64、macOS arm64、Windows x64向けのプレビルドインストーラーに加え、Android（Gradle）およびiOS（Swiftパッケージ）モジュールを提供。
  • ローカルAPI互換性 – OpenAIスタイルおよびAnthropicスタイルのエンドポイント（omniinfer serve）を公開し、既存のクライアントコードがローカルにホストされたモデルと通信できるようにします。
  • ハードウェア対応最適化 – コンテキスト長、GPUオフロード、KVキャッシュサイズ、バックエンド固有の起動フラグを調整するための設定を提供します。

典型的なワークフロー

  1. ワンライナースクリプト（curl/PowerShell）でCLIをインストールします。
  2. omniinferを実行します。TUIは互換性のあるバックエンドを提案し、必要に応じてダウンロードし、ローカルで利用可能なGGUFモデルを選択できます。
  3. ターミナルで直接チャットするか、omniinfer serveを起動して他のアプリ用のHTTP APIを取得します。

重要性 – LLM/VLMをローカルで実行することで、クラウドコスト、レイテンシ、データプライバシーの懸念を回避できます。OmniInferの「一度書けばどこでも実行」アプローチにより、開発者、研究者、愛好家が手頃なハードウェアで最先端のモデル（例：Qwen-3.8-27B）を簡単に試せるようになります。

ドキュメントとコミュニティ – リポジトリには、インストール、CLI使用法、APIリファレンス、モデルロード、リモートアクセス、ベンチマーク、モバイル埋め込みに関する詳細なガイドが含まれています。貢献は標準のCONTRIBUTING.mdを通じて歓迎されています。

TL;DR

OmniInfer = 簡単なインストールとハードウェア対応最適化を備えた、あらゆるデバイスでLLMとVLMを実行するための高速なマルチバックエンド、クロスプラットフォームのCLI＋ローカルAPIです。

関連

  • プロジェクト
    sophgo/LLM-TPU

    LLM-TPU is an open‑source toolkit that compiles HuggingFace LLM/VLM checkpoints into SOPHGO TPU‑specific bmodels and provides ready‑to‑run Python/C++ demos, supporting quantization, KV‑cache, dynamic shapes, and multi‑chip parallelism.

  • プロジェクト
    llmmanorg/llmman

    llmman は、モデルを OCI コンテナイメージとして扱うことで、あらゆる LLM スタイルのエージェント（Claude Code、Codex、Copilot など）を、ローカルまたはホスト型のあらゆるモデルで実行する CLI/デーモンです。複数のバックエンド（llama.cpp、vLLM、sglang、mlx-lm）をサポートし、統一された Ollama/OpenAI/Anthropic API を提供し、レジストリ間のモデル転送、cosign による署名、複数マシンの単一エンドポイントへの集約を可能にします。

  • プロジェクト
    flashinfer-ai/flashinfer

    FlashInferは、LLM推論に必要な超高速・低精度のアテンション、GEMM、MoE、サンプリング演算を提供するGPUカーネルライブラリ（Pythonパッケージ付き）です。TuringからBlackwellまでの幅広いNVIDIA GPUに対応し、FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLMなど複数のバックエンドを自動的に選択。vLLMやTensorRT-LLMなど人気の推論サーバーで既に採用されています。

  • プロジェクト
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS) は、OpenAI互換のRESTまたはKServe gRPC APIを介してLLM、ビジョン・ランゲージモデル、および古典的なディープラーニングモデルを提供するC++推論サーバーです。Intel CPU、GPU、NPUに最適化されており、継続的バッチ処理、ストリーミング、モデルバージョニング、ホットリロード、Prometheusメトリクスなどの機能を提供します。Docker、バーマルバイナリ、Kubernetes経由でデプロイ可能で、TensorFlow、ONNX、OpenVINO IR、GGUFなど多くのモデルフォーマットをサポートし、標準的なクライアントライブラリと統合可能です。

  • プロジェクト
    ztxz16/fastllm

    FastLLM は、C++ ベースの、PyTorch 不要の大規模言語モデル推論エンジンです。Dense モデルと MoE モデル、ハイブリッド GPU/CPU/NUMA/ディスク展開、マルチ GPU テンソル並列、投機的デコード（MTP/DSpark/DFlash2）、多くの量子化形式をサポートし、Python CLI、Web UI、OpenAI 互換 API サーバーを提供します。`pip install ftllm` でインストールし、`ftllm run` でモデルを実行、`ftllm server` でサービスを起動します。詳細なドキュメントには、モデル固有のガイド、パフォーマンスチューニング、コミュニティサポートが含まれています。