Simbastack-hq/framedex

解决的问题

framedex 将分散在多个 SSD 上或存储在 Apple Photos 库中的视频和照片档案，转化为便携的纯文本知识库。它解决了大量无序媒体中，若无手动打标签，难以查找特定时刻、人物或地点的问题。

工作原理

该工具通过本地、可恢复的流水线处理媒体文件，为每个视频或照片生成一个 .description.md 侧车文件。这些侧车文件包含元数据和 AI 生成的洞察，而不会修改原始文件。

• 视频处理： 使用 ffprobe 和 exiftool 提取元数据，对 GPS 坐标进行逆地理编码，采样多样帧，使用 WhisperX（支持说话人分离和翻译）进行音频转录，通过 insightface 检测人脸，并使用视觉模型描述场景并分配质量评分（保留/审查/剔除）。
• 照片处理： 读取 EXIF 数据（相机、镜头、曝光），执行人脸检测，并使用视觉模型进行场景描述和评分。智能分组连拍和 RAW+JPEG 对，避免重复的 AI 调用。
• 索引与查询： 创建文件夹摘要和主索引（_INDEX.md），允许用户通过 fdx-query 查询其档案，或使用 MCP 主机（如 Claude Desktop）与媒体“对话”。
• 集成： 可将评分和关键词导出到 .xmp 侧车文件，用于 Adobe Lightroom Classic。

适用人群

管理跨多个驱动器的大量媒体内容，希望在不修改原始文件的前提下，获得可搜索、AI 增强索引的摄影师、视频制作者和档案管理员。

主要亮点

• 非破坏性： 原始文件从不修改；所有数据均存储在 Markdown 侧车文件中。
• 本地优先： 大部分处理（转录、人脸检测）在本地完成，支持灵活的视觉后端（Claude CLI、API，或通过 LM Studio 完全本地运行）。
• 全面的媒体分析： 集成转录、翻译、说话人分离和基于视觉的场景描述。
• Lightroom 集成： 将 AI 评分和关键词导出到 .xmp 文件，适用于专业编辑工作流。
• MCP 支持： 内置 MCP 服务器（fdx-mcp），允许 AI 代理与档案交互并查询。
• Apple Photos 支持： 可直接索引 .photoslibrary 文件，无需导出。