DeepCamera: 自律的なハードウェア認識スキル展開とローカルVLM分析を備えたオープンソースAIカメラプラットフォーム

何を解決するか

DeepCameraは、最大限のプライバシーを確保するためにすべてのデータ処理をローカルで行いながら、セキュリティカメラにAI機能を付加するためのプラットフォームを提供します。自律的な展開エージェントを使用してインストールと最適化を処理することで、異なるハードウェア向けのAIモデルを手動で設定する複雑さを排除します。

仕組み

このシステムは、プラグイン可能な「スキル」アーキテクチャを採用しており、各AI機能（物体検出やシーン分析など）は自己完結型のモジュールです。SharpAI Aegisと呼ばれるデスクトップアプリケーションがこれらのスキルを管理し、ローカルLLMを使用してハードウェア（NVIDIA, AMD, Apple Silicon, Intel）を自動的に検出し、最適なモデル形式（TensorRT, CoreML, OpenVINO, etc.）をインストールします。スキルは標準化されたJSONLプロトコルを介して通信するため、パイプラインを壊すことなく異なるモデルを入れ替えることができます。

対象ユーザー

ML展開やCLIツールの深い専門知識を必要とせずに、自身のハードウェア上で高度なAI監視⁴such as person re-identification, fall detection, or VLM-powered scene analysis⁴を実装したいユーザー向けに設計されています。

ハイライト

• 自律的なインストール: LLM駆動型エージェントがスキルのマニフェストを読み取り、環境とハードウェアアクセラレーションを自動的に構成します。
• ハードウェアに依存しない: NVIDIA (TensorRT), Apple Silicon (CoreML), Intel (OpenVINO), and AMD (ONNX) のネイティブアクセラレーションをサポート。
• プライバシー第一: ライブビデオを空間活動マップに置き換えて身元を隠す、深度マップ匿名化スキルが含まれています。
• HomeSec-Bench: ローカルVLMのセキュリティ性能をベンチマークするための、組み込みの143テスト評価スイート。
• 幅広いスキルカタログ: リアルタイムのYOLO検出、SAM2セグメンテーション、およびHome Assistantとの統合をサポート。