cosmo-wander-ai/cosmo-edge

CosmoEdge 1.1 – 边缘 AI 视频分析引擎

它是什么 – 一个基于 C++ 的运行时，让您能在各种边缘处理器（Sophon BM1688/BM1684X、Rockchip RK3576/RV1126B）以及普通的 x86/Linux、Windows 或 macOS（Docker 模拟）机器上运行视频 AI 模型（目标检测、VLM 风格的提示驱动视觉等）。该仓库以 Apache-2.0 许可证提供核心引擎和 Web 控制台；商业级模型包和特定硬件保护则单独提供。

核心功能

功能	说明
原生 C++17 运行时	多通道视频摄取、推理调度、屏幕显示 (OSD)、规则评估、报警/事件生成。
可视化编排 UI	基于浏览器的流程构建器，可拖放模型、设置参数并查看实时反馈。
多后端推理	在构建时选择 Sophon BMRT (.nn)、Rockchip RKNN (.rknn) 和 ONNX Runtime (.onnn) 后端。
提示驱动视觉 (VLM/DINO)	Grounding-DINO 开放词汇检测和大型视觉语言模型判断，可触发报警。
集成钩子	REST、WebSocket、MQTT 和通用 HTTP webhooks，供下游系统使用。
模型接入与保护	用于转换、导入和验证模型的工具；“Model Guard”为 Sophon 设备加密商业预设，同时保持相同的 UI 功能。
代理辅助开发	内置的任务入口点和检查机制，让编程助手（例如 GitHub Copilot）协助移植模型或扩展 UI，并产生可验证的输出。

支持平台

• Sophon BM1688（主要） – 每通道 VLM 约 0.1 FPS，最多验证 6 个通道。
• Sophon CV186X – VLM 性能与 BM1688 相同。
• Rockchip RK3576 – 支持 VLM；已打包 RKLLM v1.3.0。
• Rockchip RV1126B – 支持推理；VLM 尚未验证。
• x86 Linux / Windows – ONNX Runtime；吞吐量较低，适用于开发。
• macOS (Apple Silicon) 预览 – Docker linux/amd64 模拟，用于单视频演示。

典型用例

• 实时监控分析（人员检测、安全帽检查、区域计数等）
• 由 VLM 决定检测结果是否应触发报警的提示驱动视觉检查
• 无需编写代码即可构建自定义视频 AI 工作流程，然后通过 MQTT 或 webhooks 公开结果，以进行物联网或边缘云集成

快速开始（x86 开发者模式）

# clone the repo
git clone https://github.com/cosmo-wander-ai/cosmo-edge.git && cd cosmo-edge

# launch the Docker‑compose stack (Linux)
sudo docker compose -f docker-compose.x86.yml up -d --build
# Windows: docker compose -f docker-compose.x86.windows.yml up -d --build

# open the console
open http://localhost:8080   # or visit the URL in a browser

相同的仓库为 Sophon 和 Rockchip 设备提供了基于 Docker 的构建脚本；它们会拉取适当的 NPU SDK，编译引擎，并输出一个 build_output/<chip>/ 目录，其中包含运行时、模型工件、一个 TARGET_CHIP 标记和 SHA-256 校验和。

基准测试 – v1.1 多平台报告（可从 README 链接）记录了受控的 1080p24 测试：

• 在多达 8 个并发通道中，每个业务任务 5 FPS
• 72 小时连续运行，显示在所有支持的芯片上平均 >5 FPS
• 每通道 VLM 验证至少 0.1 FPS（用于 PASS/FAIL 的门限）

文档与社区

• 完整文档网站：https://www.cosmowander.ai/docs/
• 教程涵盖快速开始、流程编排、VLM 使用和模型移植。
• 通过 GitHub Discussions、Issues 提供支持，并为中国大陆的用户提供 Gitee 镜像。
• 通过拉取请求接受贡献；安全问题通过 SECURITY.md 私下报告。

许可证 – 引擎和控制台代码采用 Apache-2.0。商业模型包和特定硬件保护层根据单独的条款分发。

---

CosmoEdge 是一个真正的开源边缘 AI 平台，它桥接了视频模型服务、视觉工作流编排和特定设备加速，使其适合需要在低功耗 NPU 硬件上部署视频分析或 VLM 功能的开发者。