cosmo-wander-ai/cosmo-edge

Production-grade C++ edge AI engine for video analytics and on-device VLM across Sophon, Rockchip RKNN, and x86, with visual orchestration, real-time OSD, events, and reproducible benchmarks.

解决的问题

CosmoEdge 是一个 C++ 边缘 AI 引擎，旨在将视频 AI 模型转化为可部署的应用程序。它通过提供一致的编排体验，简化了在不同硬件平台（Sophon、Rockchip 和 x86）上部署视频分析、视觉语言模型（VLM）和事件工作流的过程，尽管每个平台所需的运行时和模型产物不同。

运作方式

系统由一个 C++ 引擎核心（负责媒体处理、推理调度和事件管理）和一个用于可视化编排的网页控制台组成。用户可以在浏览器中组合管道，绑定模型、规则和输出动作。引擎支持多种后端，包括 Sophon BMRT/VPU、RKNN 和 ONNX Runtime，让相同的工作流能适应不同的边缘设备。

适用对象

适用于为边缘硬件构建实时视频分析和提示驱动视觉应用程序的开发者和工程师，特别是使用 Sophon 或 Rockchip NPU 的用户。

重点特色

  • 多平台支持： 原生支持 Sophon（BM1688、CV186X）和 Rockchip（RK3576、RV1126B）NPU，以及 x86 Linux/Windows。
  • 可视化编排： 基于浏览器的界面，用于组合 AI 管道，无需为每个工作流编写代码。
  • VLM 与开放词汇检测： 支持基于提示的视觉判断，以及用于开放词汇检测的 GroundingDINO。
  • 边缘集成： 通过 REST、WebSocket、MQTT 或 HTTP webhook 传递结构化事件。
  • C++17 引擎： 高性能原生运行时，用于多通道媒体和推理调度。

相关

  • 项目
    omnimind-ai/OmniInfer

    OmniInfer 是一个跨平台推理引擎，通过简单的 CLI 和兼容 OpenAI 的 HTTP 服务器在本地运行 LLM 和视觉语言模型。它支持多种后端（llama.cpp、MLX、MNN 等），可在桌面、Android 和 iOS 上运行，并提供硬件感知优化和用于聊天的终端 UI。

  • 项目
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G) 是一个开源、可透过 Docker 部署的平台，专门用于 AI 服务的红队安全测试。它能扫描即时 LLM 端点、AI 代理工作流以及模型控制平面代码，检测 CVE、越狱漏洞及代理失控风险，并透过网页 UI 和 REST API 呈现结果。

  • 项目
    VIAME/VIAME

    VIAME 是一个开源的、基于流水线的计算机视觉工具包，它集成了检测、跟踪、标注、测量和模型训练工具。它提供桌面和 Web GUI、Python 包、Docker 镜像以及可选的 GPU 加速，使其适用于许多领域的 DIY AI 视频分析。

  • 项目
    xtreme1-io/xtreme1

    Xtreme1 是一个开源、基于 Docker 的平台，用于标注、整理和管理多模态训练数据（2D 图像、3D LiDAR、传感器融合）。它提供 UI 驱动的标注工具、本体管理、内置预标注模型（YOLOR、OpenPCDet）、质量监控，以及面向 LLM 的 Beta 版 RLHF 接口。可通过单条 `docker compose up` 命令安装，可在任意支持 Docker 的操作系统上运行，并可选择使用 GPU 加速模型容器。采用 Apache-2.0 许可证，由 LF AI & Data Foundation 主持。

  • Dispatch
    Qwen 3.5‑397B‑A17B 发布：混合线性注意力 MoE 模型，具备 1 M 令牌上下文和最先进的多模态性能

    Qwen 3.5‑397B‑A17B 是一个拥有 3970 亿参数的多模态模型，每个令牌仅激活 170 亿参数，在语言、编码、推理和视觉任务上实现最先进的性能，同时推理速度比前代提升最高可达 19 倍。