cosmo-wander-ai/cosmo-edge

CosmoEdge 1.1 – エッジ AI ビデオ分析エンジン

概要 – C++ ベースのランタイムであり、さまざまなエッジプロセッサ（Sophon BM1688/BM1684X、Rockchip RK3576/RV1126B）や、通常の x86/Linux、Windows、macOS（Docker エミュレート）マシンで、ビデオ AI モデル（オブジェクト検出、VLM スタイルのプロンプト駆動ビジョンなど）を実行できます。リポジトリは Apache-2.0 の下でコアエンジンと Web コンソールを提供します。商用グレードのモデルパッケージとハードウェア固有の保護は別途提供されます。

主な機能

機能	内容
ネイティブ C++17 ランタイム	マルチチャネルビデオ取り込み、推論スケジューリング、オンスクリーンディスプレイ (OSD)、ルール評価、アラーム/イベント生成。
ビジュアルオーケストレーション UI	ブラウザベースのパイプラインビルダーで、モデルをドラッグ＆ドロップし、パラメータを設定してライブフィードバックを確認できます。
マルチバックエンド推論	ビルド時に選択される Sophon BMRT (.nn)、Rockchip RKNN (.rknn)、ONNX Runtime (.onnn) バックエンド。
プロンプト駆動ビジョン (VLM/DINO)	Grounding-DINO オープンボキャブラリー検出と、アラームをトリガーできる大型ビジョン言語モデルによる判断。
統合フック	下流システム向けの REST、WebSocket、MQTT、および汎用 HTTP Webhook。
モデルオンボーディングと保護	モデルを変換、インポート、検証するツール。「Model Guard」は Sophon デバイス用に商用プリセットを暗号化しつつ、同じ UI 機能を維持します。
エージェント支援開発	コーディングアシスタント（例：GitHub Copilot）がモデルの移植や UI の拡張を検証可能な出力で支援できる、組み込みのタスクエントリポイントとチェック。

サポートされているプラットフォーム

• Sophon BM1688（主要） – チャネルあたり約 0.1 FPS の VLM、最大 6 チャネル検証済み。
• Sophon CV186X – BM1688 と同等の VLM パフォーマンス。
• Rockchip RK3576 – VLM サポート、RKLLM v1.3.0 同梱。
• Rockchip RV1126B – 推論サポート、VLM は未検証。
• x86 Linux / Windows – ONNX Runtime、スループットは低く開発に有用。
• macOS (Apple Silicon) プレビュー – 単一ビデオデモ用の Docker linux/amd64 エミュレーション。

典型的なユースケース

• リアルタイム監視分析（人物検出、安全ヘルメットチェック、ゾーンカウントなど）
• VLM が検出結果をアラームとして発生させるべきかを判断する、プロンプト駆動の視覚検査
• コードを書かずにカスタムビデオ AI ワークフローを構築し、IoT またはエッジクラウド統合のために MQTT や Webhook を介して結果を公開する

クイックスタート（x86 開発者モード）

# clone the repo
git clone https://github.com/cosmo-wander-ai/cosmo-edge.git && cd cosmo-edge

# launch the Docker‑compose stack (Linux)
sudo docker compose -f docker-compose.x86.yml up -d --build
# Windows: docker compose -f docker-compose.x86.windows.yml up -d --build

# open the console
open http://localhost:8080   # or visit the URL in a browser

同じリポジトリは、Sophon および Rockchip デバイス向けの Docker ベースのビルドスクリプトを提供します。これらは適切な NPU SDK をプルし、エンジンをコンパイルして、ランタイム、モデルアーティファクト、TARGET_CHIP マーカー、および SHA-256 チェックサムを含む build_output/<chip>/ ディレクトリを出力します。

ベンチマーク – v1.1 マルチプラットフォームレポート（README からリンク）は、制御された 1080p24 テストを文書化しています：

• 最大 8 つの同時チャネルにわたる、ビジネスタスクごとに 5 FPS
• すべてのサポートされているチップで平均 >5 FPS を示す 72 時間の連続実行
• チャネルごとに最低 0.1 FPS での VLM 検証（PASS/FAIL に使用されるゲート）

ドキュメントとコミュニティ

• 完全なドキュメントサイト：https://www.cosmowander.ai/docs/
• チュートリアルはクイックスタート、パイプラインオーケストレーション、VLM の使用、モデルの移植をカバーしています。
• GitHub Discussions、Issues を通じたサポート、および中国本土のユーザー向けの Gitee ミラー。
• プルリクエストを通じた貢献を受け付けています。セキュリティの問題は SECURITY.md を通じて非公開で報告してください。

ライセンス – エンジンおよびコンソールコードは Apache-2.0 です。商用モデルパッケージおよびハードウェア固有の保護レイヤーは個別の条件で配布されます。

---

CosmoEdge は、ビデオモデルサービング、ビジュアルワークフローオーケストレーション、およびデバイス固有のアクセラレーションを橋渡しする真のオープンソースエッジ AI プラットフォームであり、低電力 NPU ハードウェア上でビデオ分析または VLM 機能をデプロイする必要がある開発者に適しています。