omnimind-ai/OmniInfer

Unified, efficient, and easy-to-use inference infrastructure for edge AI || 面向端侧 AI 的统一、高效、易用的推理基础设施

OmniInfer – 빠른 개요

정의 – OmniInfer는 데스크톱 PC부터 휴대폰까지 모든 기기에서 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM)을 로컬로 실행할 수 있는 크로스 플랫폼 추론 엔진입니다. 모델 컴파일, 하드웨어별 최적화, API 연결의 복잡한 세부 사항을 숨기고 단일 명령줄 도구(omniinfer)와 OpenAI 호환 및 Anthropic 호환 HTTP 서버를 제공합니다.

주요 기능

  • 다중 백엔드 지원 – 계속 늘어나는 런타임 목록(llama.cpp, stable-diffusion.cpp, MNN, MLX, TurboQuant, LiteRT-LM, ExecuTorch QNN 등)과 함께 작동합니다. 도구는 현재 기기에 가장 적합한 백엔드를 자동으로 선택할 수 있습니다.
  • LLM 및 VLM 추론 – 텍스트 전용 모델과 Qwen-VLA와 같은 비전-언어 모델을 처리하며, 채팅용 터미널 UI와 비전 작업용 브라우저 대시보드를 제공합니다.
  • 크로스 플랫폼 – Linux x64, macOS arm64, Windows x64용 사전 빌드 설치 프로그램과 Android(Gradle) 및 iOS(Swift 패키지) 모듈을 제공합니다.
  • 로컬 API 호환성 – OpenAI 스타일 및 Anthropic 스타일 엔드포인트(omniinfer serve)를 노출하여 기존 클라이언트 코드가 로컬에서 호스팅되는 모델과 통신할 수 있게 합니다.
  • 하드웨어 인식 최적화 – 컨텍스트 길이, GPU 오프로딩, KV 캐시 크기, 백엔드별 시작 플래그를 조정할 수 있는 기능을 제공합니다.

일반적인 워크플로

  1. 원라이너 스크립트(curl/PowerShell)로 CLI를 설치합니다.
  2. omniinfer를 실행합니다. TUI는 호환 가능한 백엔드를 제안하고, 필요 시 다운로드하며, 로컬에서 사용 가능한 GGUF 모델을 선택할 수 있게 합니다.
  3. 터미널에서 직접 채팅하거나 omniinfer serve를 시작하여 다른 앱용 HTTP API를 얻습니다.

중요성 – LLM/VLM을 로컬에서 실행하면 클라우드 비용, 지연 시간, 데이터 프라이버시 문제를 피할 수 있습니다. OmniInfer의 "한 번 작성하면 어디서나 실행" 접근 방식은 개발자, 연구자, 애호가가 적당한 하드웨어에서 최첨단 모델(예: Qwen-3.8-27B)을 쉽게 실험할 수 있게 합니다.

문서 및 커뮤니티 – 저장소에는 설치, CLI 사용법, API 참조, 모델 로딩, 원격 액세스, 벤치마킹, 모바일 임베딩에 대한 상세 가이드가 포함되어 있습니다. 기여는 표준 CONTRIBUTING.md를 통해 환영합니다.

TL;DR

OmniInfer = 쉬운 설치와 하드웨어 인식 최적화를 갖춘, 모든 기기에서 LLM과 VLM을 실행하기 위한 빠르고 다중 백엔드, 크로스 플랫폼 CLI + 로컬 API입니다.

관련

  • 프로젝트
    sophgo/LLM-TPU

    LLM-TPU is an open‑source toolkit that compiles HuggingFace LLM/VLM checkpoints into SOPHGO TPU‑specific bmodels and provides ready‑to‑run Python/C++ demos, supporting quantization, KV‑cache, dynamic shapes, and multi‑chip parallelism.

  • 프로젝트
    llmmanorg/llmman

    llmman은 모델을 OCI 컨테이너 이미지로 취급하여 모든 LLM 스타일 에이전트(Claude Code, Codex, Copilot 등)를 로컬 또는 호스팅된 모든 모델에서 실행하는 CLI/데몬입니다. 여러 백엔드(llama.cpp, vLLM, sglang, mlx-lm)를 지원하고 통합된 Ollama/OpenAI/Anthropic API를 제공하며 레지스트리 간 모델 전송, cosign 서명, 여러 시스템을 하나의 엔드포인트로 집계할 수 있습니다.

  • 프로젝트
    flashinfer-ai/flashinfer

    FlashInfer는 LLM 추론을 위한 초고속, 저정밀도 어텐션, GEMM, MoE, 샘플링 연산을 제공하는 GPU 커널 라이브러리(파이썬 패키지 포함)입니다. Turing부터 Blackwell까지 다양한 NVIDIA GPU를 지원하며, FlashAttention-2/3, cuDNN, CUTLASS, TensorRT-LLM 등 여러 백엔드를 자동으로 선택합니다. 이미 vLLM 및 TensorRT-LLM과 같은 인기 추론 서버에서 사용되고 있습니다.

  • 프로젝트
    openvinotoolkit/model_server

    OpenVINO Model Server (OVMS)는 OpenAI 호환 REST 또는 KServe gRPC API를 통해 LLM, 비전-언어 모델, 전통적인 딥러닝 모델을 제공하는 C++ 추론 서버입니다. Intel CPU, GPU, NPU에 최적화되어 있으며, 지속적 배치, 스트리밍, 모델 버전 관리, 핫 리로드, Prometheus 메트릭 등의 기능을 제공합니다. Docker, 바이너리, Kubernetes를 통해 배포 가능하며, TensorFlow, ONNX, OpenVINO IR, GGUF 등 다양한 모델 포맷을 지원하고 표준 클라이언트 라이브러리와 통합됩니다.

  • 프로젝트
    ztxz16/fastllm

    FastLLM은 C++ 기반의 PyTorch 없는 대규모 언어 모델 추론 엔진입니다. Dense 및 MoE 모델, 하이브리드 GPU/CPU/NUMA/디스크 배포, 멀티 GPU 텐서 병렬 처리, 추측 디코딩(MTP/DSpark/DFlash2), 다양한 양자화 형식을 지원하며 Python CLI, 웹 UI, OpenAI 호환 API 서버를 제공합니다. `pip install ftllm`으로 설치하고, `ftllm run`으로 모델을 실행하고, `ftllm server`로 서비스를 시작합니다. 광범위한 문서는 모델별 가이드, 성능 튜닝, 커뮤니티 지원을 다룹니다.