Simbastack-hq/framedex

解決的問題

framedex 將分散在多個 SSD 上或儲存在 Apple Photos 資料庫中的影片與照片檔案，轉化為可攜帶的純文字知識庫。它解決了大量未整理的媒體中，若無手動標籤，難以尋找特定時刻、人物或地點的問題。

作法

此工具透過本地、可恢復的流程處理媒體檔案，為每個影片或照片產生一個 .description.md 邊車檔案。這些邊車檔案包含元資料與 AI 生成的洞察，而不會修改原始檔案。

• 影片處理： 使用 ffprobe 與 exiftool 提取元資料，對 GPS 座標進行逆地理編碼，採樣多樣化畫格，使用 WhisperX（支援說話人分離與翻譯）進行音訊轉錄，透過 insightface 檢測人臉，並使用視覺模型描述場景與分配品質評分（保留／審查／剔除）。
• 照片處理： 讀取 EXIF 資料（相機、鏡頭、曝光），執行人臉檢測，並使用視覺模型進行場景描述與評分。智慧分組連拍與 RAW+JPEG 對，避免重複的 AI 呼叫。
• 索引與查詢： 建立資料夾摘要與主索引（_INDEX.md），允許使用者透過 fdx-query 查詢其檔案，或使用 MCP 主機（如 Claude Desktop）與媒體「對話」。
• 整合： 可將評分與關鍵字匯出至 .xmp 邊車檔案，用於 Adobe Lightroom Classic。

適用對象

管理跨多個磁碟的大量媒體內容，希望在不修改原始檔案的前提下，獲得可搜尋、AI 增強索引的攝影師、影片製作人與檔案管理員。

主要特色

• 非破壞性： 原始檔案從不修改；所有資料皆儲存在 Markdown 邊車檔案中。
• 本地優先： 大部分處理（轉錄、人臉檢測）在本地完成，支援彈性視覺後端（Claude CLI、API，或透過 LM Studio 完全本地運行）。
• 全面的媒體分析： 整合轉錄、翻譯、說話人分離與基於視覺的場景描述。
• Lightroom 整合： 將 AI 評分與關鍵字匯出至 .xmp 檔案，適用於專業編輯工作流程。
• MCP 支援： 內建 MCP 伺服器（fdx-mcp），讓 AI 代理能與檔案互動並查詢。
• Apple Photos 支援： 可直接索引 .photoslibrary 檔案，無需匯出。