Simbastack-hq/framedex

何を解決するか

framedex は、複数の SSD に散在している、または Apple Photos ライブラリに保存されている動画や写真のアーカイブを、ポータブルなプレーンテキスト知識ベースに変換します。手動でのタグ付けがなければ、特定の瞬間、人物、場所を探すのが困難な、整理されていない大量のメディアの問題を解決します。

動作方法

このツールは、ローカルで再開可能なパイプラインを通じてメディアファイルを処理し、各動画や写真に対して .description.md サイドカー ファイルを生成します。これらのサイドカーにはメタデータと AI 生成のインサイトが含まれており、元のファイルは変更されません。

• 動画の場合: ffprobe と exiftool を使ってメタデータを抽出し、GPS 座標を逆ジオコーディング、多様なフレームをサンプリング、WhisperX（話者分離と翻訳付き）で音声を字幕化、insightface で顔を検出、ビジョンモデルでシーンを記述し、品質評価（保持／レビュー／破棄）を付与します。
• 写真の場合: EXIF データ（カメラ、レンズ、露出）を読み取り、顔検出を実行し、ビジョンモデルでシーンの記述と評価を行います。バーストや RAW+JPEG のペアを知的にグループ化して、重複する AI 呼び出しを回避します。
• インデックス化とクエリ: フォルダの要約とマスターインデックス（_INDEX.md）を作成し、fdx-query でアーカイブをクエリするか、Claude Desktop などの MCP ホストを使ってメディアと「会話」できるようにします。
• 統合: 評価とキーワードを .xmp サイドカーにエクスポートし、Adobe Lightroom Classic で使用できます。

対象ユーザー

複数のドライブにまたがる大量のメディアを管理し、元のファイルを変更せずに検索可能で AI 拡張されたインデックスを必要とする写真家、動画制作家、アーカイブ担当者。

特徴

• 破壊的でない: 元のファイルは一切変更されず、すべてのデータは Markdown サイドカーに保存されます。
• ローカル優先: 主な処理（字幕化、顔検出）はローカルで行われ、柔軟なビジョンバックエンド（Claude CLI、API、または LM Studio を通じた完全ローカル）をサポートします。
• 包括的なメディア分析: 字幕化、翻訳、話者分離、ビジョンベースのシーン記述を統合します。
• Lightroom 統合: AI 評価とキーワードを .xmp ファイルにプロジェクトし、プロフェッショナルな編集ワークフローに対応します。
• MCP サポート: AI エージェントがアーカイブとやり取り・クエリできるように、MCP サーバー（fdx-mcp）を含んでいます。
• Apple Photos 対応: エクスポートを必要とせずに、.photoslibrary ファイルを直接インデックス化できます。