nextcloud/recognize

해결하는 문제

Recognize는 Nextcloud용 스마트 미디어 태깅 시스템으로, 사진, 동영상, 음악 파일을 자동으로 분류합니다. AI를 사용해 콘텐츠를 식별하고 Nextcloud의 협업 태그 시스템을 통해 적절한 태그를 적용함으로써 미디어 컬렉션에 대한 수동 태깅 작업을 완전히 제거합니다.

작동 방식

이 앱은 Nextcloud 서버에서 Tensorflow.js를 Node.js로 실행하는 온프레미스 방식으로 작동합니다. 다양한 미디어 유형을 처리하기 위해 사전 학습된 여러 모델을 사용합니다.

• 이미지: EfficientNet v2를 사용해 객체 탐지(동물, 풍경, 음식 등) 및 Landmarks v1 모델을 사용해 기념물과 랜드마크를 식별합니다.
• 얼굴: face-api.js를 사용해 얼굴 특징을 추출하고 비교하여 사진을 그룹화합니다.
• 동영상: MoViNet 모델을 사용해 동영상 내 인간의 행동을 분류합니다.
• 오디오: Musicnn 신경망 아키텍처를 사용해 음악 장르를 분류합니다.

대상 사용자

자신의 미디어 라이브러리를 외부 클라우드 제공업체에 데이터를 전송하지 않고도 조직하고 싶은 Nextcloud 사용자. 개인정보 보호와 로컬 처리를 우선시하는 사용자에게 적합합니다.

주요 특징

• 개인정보 보호 중심: 모든 처리는 서버에서 로컬로 수행되며, 민감한 데이터는 클라우드 제공업체에 전송되지 않습니다.
• 다중 모달 인식: 사진(객체, 얼굴, 랜드마크), 동영상(행동), 음악(장르)을 지원합니다.
• Docket 호환성: AVX 명령어를 통한 네이티브 속도를 지원하거나, 더 넓은 하드웨어 호환성을 위해 WASM 모드를 제공합니다.
• 윤리적인 AI: 대부분의 기능에 오픈소스 학습 소프트웨어와 무료로 이용 가능한 모델을 사용합니다.