LibrePhotos/librephotos

解決する課題

LibrePhotos は、クラウドベースの写真管理サービスに代わる、セルフホスト型のプライベートな代替手段を提供します。サードパーティのクラウドプロバイダーに依存することなく、画像を自動的に分類し、人物を識別し、自然言語検索を可能にすることで、膨大で散らばった写真コレクションを整理する問題を解決します。

仕組み

Django で構築されたバックエンドを使用し、ローカルの機械学習パイプラインを実行して画像を処理します。顔検出とクラスタリングには InsightFace を、画像タグの生成とセマンティック検索機能には OpenCLIP を、そしてこれらのモデルを効率的に実行するために ONNX Runtime を採用しています。システムは既存の写真ディレクトリをスキャンし、メタデータを抽出し、キャプションを生成して、すべてを PostgreSQL データベースにインデックス化します。その後、React ベースの Web インターフェースとモバイルアプリを通じて提供されます。

対象ユーザー

このプロジェクトは、Docker、Kubernetes、Unraid 環境を含む自身のハードウェア上で、個人の写真やビデオライブラリをローカルで管理、検索、整理したいプライバシー意識の高いユーザー向けです。

ハイライト

• 自動顔認識とクラスタリングによる簡単な人物タグ付け。
• CLIP を活用したセマンティック検索機能（例：「ビーチにいる犬」で検索）。
• RAW、HEIC、JPEG XL を含む多様なファイル形式のサポート。
• 外部のクラウド AI サービスに依存しない、プライバシー重視のアーキテクチャ。
• Web インターフェースおよび Android/iOS 用の専用モバイルアプリによるクロスプラットフォームアクセス。