roboflow/inference

roboflow/inference – 自托管计算机视觉推理服务器

是什么

• 一个 Python 包（inference），可在本地或基于 Docker 的服务器上运行，将任何计算机、边缘设备或 GPU 机器转变为功能齐全的计算机视觉中心。
• 可加载您自己的微调模型，或使用预训练基础模型目录（例如 Florence-2、CLIP、SAM-2）。
• 核心理念是 工作流：可组合的模块，将模型推理、传统计算机视觉步骤（OCR、条形码读取、模板匹配）和自定义 Python 代码串联成可复用的流水线。

主要功能

• 模型服务 – 可托管您使用 Roboflow 训练的任意模型，或从目录中拉取公共模型。
• 视频流处理 – 支持 RTSP、摄像头或其他流输入，具备 GPU 加速的批处理、解码和多进程处理能力。
• 工作流引擎 – 支持拖拽式模块，用于检测、分割、跟踪、计数、测量、通知等。您也可以编写自己的 Python 模块。
• API 与 SDK – 提供 REST API（OpenAPI 文档位于 /docs）和 Python SDK（inference-sdk），支持程序化控制，包括启动/停止视频流水线和消费结果。
• 混合云/边缘 – 可完全在本地运行（无需信用额度），或连接 Roboflow Cloud 以使用私有模型、上传数据集、监控模型和管理部署。
• 企业扩展功能 – 可选的开源企业模块，支持坚固的 Jetson 基础“Flowbox”设备、OPC/MQTT 集成和设备管理。

快速开始

pip install inference-cli
inference server start --dev   # 拉取合适的 Docker 镜像，并在 http://localhost:9001/notebook/start 启动 Jupyter 笔记本

笔记本将引导您完成模型加载、工作流创建和摄像头连接。

典型应用场景

• 零售收银：检测商品、计算总价，并将结果推送到数据库。
• 智能停车：车牌检测、车辆跟踪、Telegram 警报。
• 生产线质量控制：结合目标检测与 OCR/条形码检查。
• 视觉搜索或内容审核：在实时流上运行 CLIP 或 SAM-2，查找与文本提示匹配的帧。

安装与平台支持

• 以 pip 包形式分发；服务器在 Docker 内运行（CPU 或 GPU 镜像）。
• 支持 Linux、Windows、macOS、NVIDIA Jetson、Raspberry Pi 和通用云虚拟机。
• GPU 加速通过 NVIDIA Container Toolkit 实现。

许可证

• 核心 inference 代码采用 Apache 2.0 许可证。
• 单个模型保留其原始许可证（例如 AGPL-3.0 模型必须在该许可证下使用）。
• 仅企业功能为开源，采用独立商业许可证。

了解更多

• 完整文档：https://inference.roboflow.com
• 包含预设流水线的工作流画廊：https://inference.roboflow.com/workflows/gallery
• YouTube 上的视频教程（自助收银、智能停车等）。

总结 Roboflow Inference 是一个生产就绪、可自托管的平台，用于大规模构建、串联和部署计算机视觉模型，特别注重视频流处理，并能轻松集成到现有系统中。