cosmo-wander-ai/cosmo-edge
Production-grade C++ edge AI engine for video analytics and on-device VLM across Sophon, Rockchip RKNN, and x86, with visual orchestration, real-time OSD, events, and reproducible benchmarks.
해결하는 문제
CosmoEdge는 비디오 AI 모델을 배포 가능한 애플리케이션으로 전환하도록 설계된 C++ 엣지 AI 엔진입니다. 다양한 하드웨어 플랫폼(Sophon, Rockchip, x86)에서 비디오 분석, 비전 언어 모델(VLM), 이벤트 워크플로우 배포를 단순화하며, 각 플랫폼에 필요한 런타임과 모델 아티팩트가 다름에도 불구하고 일관된 오케스트레이션 경험을 제공합니다.
작동 방식
시스템은 미디어 처리, 추론 스케줄링, 이벤트 관리를 담당하는 C++ 엔진 코어와 비주얼 오케스트레이션을 위한 웹 콘솔로 구성됩니다. 사용자는 브라우저에서 파이프라인을 구성하고 모델, 규칙, 출력 작업을 바인딩할 수 있습니다. 엔진은 Sophon BMRT/VPU, RKNN, ONNX Runtime을 포함한 여러 백엔드를 지원하여 동일한 워크플로우를 다양한 엣지 디바이스에 적용할 수 있습니다.
대상 사용자
엣지 하드웨어용 실시간 비디오 분석 및 프롬프트 기반 비전 애플리케이션을 구축하는 개발자와 엔지니어, 특히 Sophon 또는 Rockchip NPU를 사용하는 사용자를 대상으로 합니다.
주요 특징
- 멀티 플랫폼 지원: Sophon(BM1688, CV186X) 및 Rockchip(RK3576, RV1126B) NPU와 x86 Linux/Windows를 기본 지원합니다.
- 비주얼 오케스트레이션: 브라우저 기반 인터페이스로 AI 파이프라인을 구성할 수 있어 모든 워크플로우에 코드를 작성할 필요가 없습니다.
- VLM 및 오픈 보캐블러리 감지: 프롬프트 기반 시각 판단과 오픈 보캐블러리 감지를 위한 GroundingDINO를 지원합니다.
- 엣지 통합: REST, WebSocket, MQTT 또는 HTTP 웹훅을 통해 구조화된 이벤트를 전달합니다.
- C++17 엔진: 멀티 채널 미디어 및 추론 스케줄링을 위한 고성능 네이티브 런타임입니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- Dispatch