SharpAI/DeepCamera

Open-Source AI Camera Skills Platform, AI NVR & CCTV Surveillance. Local VLM video analysis with Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. LLM-powered agentic security camera agent — watches, understands, remembers & guards your home via Telegram, Discord or Slack. Pluggable AI skills. OpenAI, Google, Anthropic or local AI. Runs on Mac Mini & AI PC.

What it solves

DeepCamera는 보안 카메라에 AI 기능을 추가하면서 모든 데이터 처리를 로컬에서 수행해 최대한의 프라이버시를 보장하는 플랫폼을 제공합니다. 하드웨어마다 AI 모델을 수동으로 설정하는 복잡성을, 자율 배포 에이전트가 설치와 최적화를 담당함으로써 없앱니다.

How it works

시스템은 플러그 가능한 "skill" 아키텍처를 사용하며, 각 AI 기능(예: 객체 감지 또는 장면 분석)은 독립된 모듈입니다. SharpAI Aegis라는 데스크톱 애플리케이션이 이러한 skill을 관리하고, 로컬 LLM을 이용해 하드웨어(NVIDIA, AMD, Apple Silicon, Intel)를 자동으로 감지한 뒤 최적의 모델 포맷(TensorRT, CoreML, OpenVINO 등)을 설치합니다. Skill들은 표준화된 JSONL 프로토콜을 통해 통신하므로 파이프라인을 깨뜨리지 않고 모델을 교체할 수 있습니다.

Who it’s for

자신의 하드웨어에서 고급 AI 감시⁴(예: 사람 재식별, 낙상 감지, VLM 기반 장면 분석⁴)를 구현하고 싶지만, 머신러닝 배포나 CLI 도구에 대한 깊은 전문 지식이 필요 없는 사용자를 위해 설계되었습니다.

Highlights

  • Autonomous Installation: LLM 기반 에이전트가 skill 매니페스트를 읽고 환경 및 하드웨어 가속을 자동으로 구성합니다.
  • Hardware Agnostic: NVIDIA(TensorRT), Apple Silicon(CoreML), Intel(OpenVINO), AMD(ONNX)를 위한 네이티브 가속을 지원합니다.
  • Privacy-First: 깊이 맵 익명화 skill을 포함해 실시간 영상을 공간 활동 맵으로 교체해 신원을 숨깁니다.
  • HomeSec-Bench: 로컬 VLM의 보안 성능을 벤치마크하는 143개의 테스트 평가 스위트를 내장하고 있습니다.
  • Broad Skill Catalog: 실시간 YOLO 감지, SAM2 세그멘테이션, Home Assistant와의 통합을 지원합니다.