cosmo-wander-ai/cosmo-edge

CosmoEdge 1.1 – 엣지 AI 비디오 분석 엔진

소개 – 다양한 엣지 프로세서(Sophon BM1688/BM1684X, Rockchip RK3576/RV1126B)는 물론 일반 x86/Linux, Windows 또는 macOS(Docker 에뮬레이션) 머신에서 비디오 AI 모델(객체 감지, VLM 스타일 프롬프트 기반 비전 등)을 실행할 수 있게 해주는 C++ 기반 런타임입니다. 이 리포지토리는 Apache-2.0 라이선스로 핵심 엔진과 웹 콘솔을 제공하며, 상업용 모델 패키지와 하드웨어별 보호 기능은 별도로 제공됩니다.

주요 기능

기능	설명
네이티브 C++17 런타임	다중 채널 비디오 수집, 추론 스케줄링, OSD(화면 표시), 규칙 평가, 알람/이벤트 생성.
시각적 오케스트레이션 UI	모델을 끌어다 놓고, 매개변수를 설정하며, 실시간 피드백을 볼 수 있는 브라우저 기반 파이프라인 빌더.
다중 백엔드 추론	빌드 시 선택되는 Sophon BMRT (.nn), Rockchip RKNN (.rknn), ONNX Runtime (.onnn) 백엔드.
프롬프트 기반 비전 (VLM/DINO)	Grounding-DINO 오픈 어휘 감지 및 알람을 트리거할 수 있는 대형 비전-언어 모델 판단.
통합 훅	다운스트림 시스템을 위한 REST, WebSocket, MQTT 및 일반 HTTP 웹훅.
모델 온보딩 및 보호	모델 변환, 가져오기 및 검증 도구. "Model Guard"는 동일한 UI 기능을 유지하면서 Sophon 장치용 상용 사전 설정을 암호화합니다.
에이전트 지원 개발	코딩 어시스턴트(예: GitHub Copilot)가 모델 포팅을 돕거나 검증 가능한 출력으로 UI를 확장할 수 있도록 하는 내장 작업 진입점 및 검사.

지원 플랫폼

• Sophon BM1688 (주요) – 채널당 약 0.1 FPS의 VLM, 최대 6개 채널 검증됨.
• Sophon CV186X – BM1688과 동일한 VLM 성능.
• Rockchip RK3576 – VLM 지원, RKLLM v1.3.0 패키지됨.
• Rockchip RV1126B – 추론 지원, VLM은 아직 검증되지 않음.
• x86 Linux / Windows – ONNX Runtime, 처리량이 낮아 개발에 유용함.
• macOS (Apple Silicon) 미리보기 – 단일 비디오 데모를 위한 Docker linux/amd64 에뮬레이션.

일반적인 사용 사례

• 실시간 감시 분석(사람 감지, 안전모 확인, 구역 계수 등)
• VLM이 감지 결과가 알람을 발생시켜야 하는지 결정하는 프롬프트 기반 시각 검사
• 코드 작성 없이 사용자 지정 비디오 AI 워크플로우를 구축한 다음 IoT 또는 엣지 클라우드 통합을 위해 MQTT 또는 웹훅을 통해 결과 노출

빠른 시작 (x86 개발자 모드)

# clone the repo
git clone https://github.com/cosmo-wander-ai/cosmo-edge.git && cd cosmo-edge

# launch the Docker‑compose stack (Linux)
sudo docker compose -f docker-compose.x86.yml up -d --build
# Windows: docker compose -f docker-compose.x86.windows.yml up -d --build

# open the console
open http://localhost:8080   # or visit the URL in a browser

동일한 리포지토리는 Sophon 및 Rockchip 장치용 Docker 기반 빌드 스크립트를 제공합니다. 이 스크립트는 적절한 NPU SDK를 가져와 엔진을 컴파일하고 런타임, 모델 아티팩트, TARGET_CHIP 마커 및 SHA-256 체크섬이 포함된 build_output/<chip>/ 디렉토리를 출력합니다.

벤치마크 – v1.1 다중 플랫폼 보고서(README에서 링크)는 제어된 1080p24 테스트를 문서화합니다:

• 최대 8개의 동시 채널에 걸쳐 비즈니스 작업당 5 FPS
• 지원되는 모든 칩에서 평균 >5 FPS를 보여주는 72시간 연속 실행
• 채널당 최소 0.1 FPS의 VLM 검증(PASS/FAIL에 사용되는 게이트)

문서 및 커뮤니티

• 전체 문서 사이트: https://www.cosmowander.ai/docs/
• 튜토리얼은 빠른 시작, 파이프라인 오케스트레이션, VLM 사용 및 모델 포팅을 다룹니다.
• GitHub Discussions, Issues를 통한 지원 및 중국 본토 사용자를 위한 Gitee 미러.
• 풀 리퀘스트를 통한 기여를 받습니다. 보안 문제는 SECURITY.md를 통해 비공개로 보고됩니다.

라이선스 – 엔진 및 콘솔 코드는 Apache-2.0입니다. 상용 모델 패키지 및 하드웨어별 보호 계층은 별도의 약관에 따라 배포됩니다.

---

CosmoEdge는 비디오 모델 서비스, 시각적 워크플로우 오케스트레이션 및 장치별 가속을 연결하는 진정한 오픈 소스 엣지 AI 플랫폼으로, 저전력 NPU 하드웨어에 비디오 분석 또는 VLM 기능을 배포해야 하는 개발자에게 적합합니다.