cosmo-wander-ai/cosmo-edge

CosmoEdge 1.1 – 邊緣 AI 視訊分析引擎

這是什麼 – 一個基於 C++ 的執行階段，讓您能在各種邊緣處理器（Sophon BM1688/BM1684X、Rockchip RK3576/RV1126B）以及普通的 x86/Linux、Windows 或 macOS（Docker 模擬）機器上執行視訊 AI 模型（物件偵測、VLM 風格的提示驅動視覺等）。該儲存庫以 Apache-2.0 授權提供核心引擎與 Web 控制台；商業級模型套件與特定硬體保護則另行提供。

核心功能

功能	說明
原生 C++17 執行階段	多通道視訊擷取、推論排程、螢幕顯示 (OSD)、規則評估、警報/事件生成。
視覺化編排 UI	基於瀏覽器的流程建構工具，可拖放模型、設定參數並查看即時回饋。
多後端推論	在建構時選擇 Sophon BMRT (.nn)、Rockchip RKNN (.rknn) 和 ONNX Runtime (.onnn) 後端。
提示驅動視覺 (VLM/DINO)	Grounding-DINO 開放詞彙偵測與大型視覺語言模型判斷，可觸發警報。
整合掛鉤	REST、WebSocket、MQTT 和通用 HTTP webhooks，供下游系統使用。
模型匯入與保護	用於轉換、匯入和驗證模型的工具；「Model Guard」為 Sophon 裝置加密商業預設，同時保持相同的 UI 功能。
代理輔助開發	內建的任務進入點和檢查機制，讓程式編寫助手（例如 GitHub Copilot）協助移植模型或擴充 UI，並產生可驗證的輸出。

支援平台

• Sophon BM1688（主要） – 每通道 VLM 約 0.1 FPS，最多驗證 6 個通道。
• Sophon CV186X – VLM 效能與 BM1688 相同。
• Rockchip RK3576 – 支援 VLM；已封裝 RKLLM v1.3.0。
• Rockchip RV1126B – 支援推論；VLM 尚未驗證。
• x86 Linux / Windows – ONNX Runtime；輸送量較低，適用於開發。
• macOS (Apple Silicon) 預覽 – Docker linux/amd64 模擬，用於單一視訊展示。

典型使用案例

• 即時監控分析（人員偵測、安全帽檢查、區域計數等）
• 由 VLM 決定偵測結果是否應觸發警報的提示驅動視覺檢查
• 無需編寫程式碼即可建構自訂視訊 AI 工作流程，然後透過 MQTT 或 webhooks 公開結果，以進行物聯網或邊緣雲端整合

快速開始（x86 開發者模式）

# clone the repo
git clone https://github.com/cosmo-wander-ai/cosmo-edge.git && cd cosmo-edge

# launch the Docker‑compose stack (Linux)
sudo docker compose -f docker-compose.x86.yml up -d --build
# Windows: docker compose -f docker-compose.x86.windows.yml up -d --build

# open the console
open http://localhost:8080   # or visit the URL in a browser

相同的儲存庫為 Sophon 和 Rockchip 裝置提供了基於 Docker 的建構腳本；它們會提取適當的 NPU SDK，編譯引擎，並輸出一個 build_output/<chip>/ 目錄，其中包含執行階段、模型成品、一個 TARGET_CHIP 標記和 SHA-256 校驗碼。

基準測試 – v1.1 多平台報告（可從 README 連結）記錄了受控的 1080p24 測試：

• 在多達 8 個並發通道中，每個商業任務 5 FPS
• 72 小時連續執行，顯示在所有支援的晶片上平均 >5 FPS
• 每通道 VLM 驗證至少 0.1 FPS（用於 PASS/FAIL 的閘門）

文件與社群

• 完整文件網站：https://www.cosmowander.ai/docs/
• 教學涵蓋快速開始、流程編排、VLM 使用和模型移植。
• 透過 GitHub Discussions、Issues 提供支援，並為中國大陸的使用者提供 Gitee 鏡像。
• 透過提取請求接受貢獻；安全問題透過 SECURITY.md 私下回報。

授權 – 引擎和控制台程式碼採用 Apache-2.0。商業模型套件和特定硬體保護層根據單獨的條款分發。

---

CosmoEdge 是一個真正的開源邊緣 AI 平台，它橋接了視訊模型服務、視覺工作流程編排和特定裝置加速，使其適合需要在低功耗 NPU 硬體上部署視訊分析或 VLM 功能的開發者。