Simbastack-hq/framedex

해결하는 문제

framedex는 여러 SSD에 흩어져 있거나 Apple Photos 라이브러리에 저장된 동영상 및 사진 아카이브를 이동 가능한 플레인 텍스트 지식 기반으로 변환합니다. 수많은 정리되지 않은 미디어 자료에서 특정 순간, 사람, 장소를 찾는 것이 수동 태그 지정 없이는 어렵다는 문제를 해결합니다.

작동 방식

이 도구는 로컬에서 재시작 가능한 파이프라인을 통해 미디어 파일을 처리하고, 모든 동영상이나 사진에 대해 .description.md 사이드카 파일을 생성합니다. 이러한 사이드카 파일은 원본 파일을 수정하지 않고 메타데이터와 AI 생성 인사이트를 포함합니다.

• 동영상의 경우: ffprobe와 exiftool을 통해 메타데이터를 추출하고, GPS 좌표를 역지오코딩하며, 다양한 프레임을 샘플링하고, WhisperX(화자 분리 및 번역 포함)를 사용해 오디오를 자막화하며, insightface로 얼굴을 탐지하고, 비전 모델을 사용해 장면을 설명하고 품질 평가(보관/검토/폐기)를 부여합니다.
• 사진의 경우: EXIF 데이터(카메라, 렌즈, 노출)를 읽고, 얼굴 탐지 작업을 수행하며, 비전 모델을 사용해 장면을 설명하고 평가합니다. 버스트 및 RAW+JPEG 쌍을 지능적으로 그룹화하여 중복된 AI 호출을 피합니다.
• 색인 및 쿼리: 폴더 요약과 마스터 인덱스(_INDEX.md)를 생성하여 fdx-query를 통해 아카이브를 쿼리하거나, Claude Desktop과 같은 MCP 호스트를 사용해 미디어와 '대화'할 수 있도록 합니다.
• 통합: 평가 및 키워드를 .xmp 사이드카로 내보내어 Adobe Lightroom Classic에서 사용할 수 있습니다.

대상 사용자

다수의 드라이브에 걸쳐 대량의 미디어를 관리하고, 원본 파일을 변경하지 않고도 검색 가능하고 AI로 강화된 인덱스를 원하는 사진작가, 영상 제작자, 아카이브 담당자.

주요 특징

• 비파괴적: 원본 파일은 절대 수정되지 않으며, 모든 데이터는 Markdown 사이드카에 저장됩니다.
• 로컬 우선: 주요 처리(자막 생성, 얼굴 탐지)는 로컬에서 이루어지며, 유연한 비전 백엔드(Claude CLI, API, 또는 LM Studio를 통한 완전 로컬)를 지원합니다.
• 포괄적인 미디어 분석: 자막 생성, 번역, 화자 분리, 비전 기반 장면 설명을 통합합니다.
• Lightroom 통합: AI 평가 및 키워드를 .xmp 파일로 내보내어 프로페셔널 편집 워크플로우에 활용할 수 있습니다.
• MCP 지원: AI 에이전트가 아카이브와 상호작용하고 쿼리할 수 있도록 MCP 서버(fdx-mcp)를 포함합니다.
• Apple Photos 지원: 내보내기 없이 .photoslibrary 파일을 직접 인덱싱할 수 있습니다.