DeepCamera: 자율적 하드웨어 인식 스킬 배포 및 로컬 VLM 분석 기능을 갖춘 오픈소스 AI 카메라 플랫폼

해결하는 문제

DeepCamera는 모든 데이터 처리를 로컬에서 수행하여 개인정보 보호를 극대화하면서 보안 카메라에 AI 기능을 추가할 수 있는 플랫폼을 제공합니다. 자율 배포 에이전트를 사용하여 설치 및 최적화를 처리함으로써 서로 다른 하드웨어에 대해 AI 모델을 수동으로 구성해야 하는 복잡성을 제거합니다.

작동 방식

이 시스템은 각 AI 기능(객체 탐지 또는 장면 분석 등)이 독립적인 모듈인 플러그형 "스킬" 아키텍처를 사용합니다. SharpAI Aegis라는 데스크톱 애플리케이션이 이러한 스킬을 관리하며, 로컬 LLM을 사용하여 하드웨어를 자동으로 감지(NVIDIA, AMD, Apple Silicon, Intel)하고 최적의 모델 형식(TensorRT, CoreML, OpenVINO 등)을 설치합니다. 스킬은 표준화된 JSONL 프로토콜을 통해 통신하므로 파이프라인을 깨뜨리지 않고 서로 다른 모델을 교환할 수 있습니다.

대상 사용자

ML 배포나 CLI 도구에 대한 깊은 전문 지식 없이도 자신의 하드웨어에서 고급 AI 감시⁴such as person re-identification, fall detection, or VLM-powered scene analysis⁴를 구현하고자 하는 사용자를 위해 설계되었습니다.

주요 특징

• 자율 설치: LLM 기반 에이전트가 스킬 매니페스트를 읽고 환경 및 하드웨어 가속을 자동으로 구성합니다.
• 하드웨어 독립성: NVIDIA (TensorRT), Apple Silicon (CoreML), Intel (OpenVINO), 및 AMD (ONNX)에 대한 네이티브 가속을 지원합니다.
• 개인정보 보호 우선: 실시간 비디오를 공간 활동 맵으로 대체하여 신원을 숨기는 depth-map anonymization 스킬을 포함합니다.
• HomeSec-Bench: 로컬 VLM의 보안 성능을 벤치마크하기 위한 내장된 143-test 평가 스위트입니다.
• 광범위한 스킬 카탈로그: 실시간 YOLO 탐지, SAM2 세그멘테이션, 및 Home Assistant와의 통합을 지원합니다.