nextcloud/recognize

解決的問題

Recognize 是一個為 Nextcloud 設計的智慧媒體標籤系統，可自動對照片、影片和音樂檔案進行分類。它利用 AI 來識別內容，並透過 Nextcloud 的協作標籤系統套用適當的標籤，從而完全消除手動標記媒體集合的作業。

工作原理

此應用在 Nextcloud 伺服器上本地運行，使用 Node.js 中的 Tensorflow.js。它採用多個預訓練模型來處理不同類型的媒體：

• 影像： 使用 EfficientNet v2 進行物件偵測（動物、風景、食物等），並使用 Landmarks v1 模型識別紀念碑與地標。
• 人臉： 使用 face-api.js 提取並比對面部特徵，以對照片進行分組。
• 影片： 使用 MoViNet 模型對影片中的人類動作進行分類。
• 音訊： 使用 Musicnn 神經網路架構對音樂類型進行分類。

適用對象

希望在不將資料傳送至外部雲端服務提供商的情況下，對自己的自架媒體資料庫進行整理的 Nextcloud 使用者，重視隱私與本地處理。

主要特色

• 注重隱私： 所有處理均在伺服器上本地完成；不會將敏感資料傳送給雲端服務提供商。
• 多模態識別： 支援照片（物件、人臉、地標）、影片（動作）與音樂（類型）。
• Docket 兼容： 支援透過 AVX 指令實作原生速度，或使用 WASM 模式以提升更廣泛的硬體相容性。
• 倫理 AI： 多數功能使用開源訓練軟體與免費可取得的模型。