nextcloud/recognize

何を解決するか

Recognize は、Nextcloud 向けのスマートメディアタグ付けシステムで、写真、動画、音楽ファイルを自動的に分類します。AI を使ってコンテンツを識別し、Nextcloud のコラボレーティブタグシステムを通じて適切なタグを付けることで、メディアコレクションの手動タグ付け作業を完全に排除します。

動作方法

このアプリは、Nextcloud サーバー上で Tensorflow.js を Node.js で実行するオンプレミス型です。さまざまなメディアタイプに対応する事前学習済みモデルを複数使用しています。

• 画像: EfficientNet v2 を使って物体検出（動物、風景、食べ物など）と Landmarks v1 モデルを使って建造物やランドマークを識別します。
• 顔: face-api.js を使って顔の特徴を抽出・比較し、写真をグループ化します。
• 動画: MoViNet モデルを使って動画内の人体の行動を分類します。
• 音声: Musicnn ニューラルネットワークアーキテクチャを使って音楽ジャンルを分類します。

対象ユーザー

自前でホストするメディアライブラリを整理したい Nextcloud ユーザー。外部クラウドプロバイダーにデータを送信せずにプライバシーを重視し、ローカル処理を実現したい人向けです。

特徴

• プライバシー重視: すべての処理はサーバー上でローカルに実行され、機密データはクラウドプロバイダーに送信されません。
• マルチモーダル認識: 写真（物体、顔、ランドマーク）、動画（行動）、音楽（ジャンル）をサポートします。
• Docket対応: AVX 指令によるネイティブ速度をサポートするか、より広範なハードウェア互換性のための WASM モードを提供します。
• 倫理的なAI: 多くの機能にオープンソースの学習ソフトウェアと自由に利用可能なモデルを使用しています。