SCM(스크린 메모리) AI 검색 for macOS

SCM(스크린 메모리)은 macOS용 로컬 우선 AI 검색 유틸리티로, 지정된 폴더 내의 모든 사진과 모든 비디오 프레임을 로컬 비전 모델을 사용하여 검색할 수 있게 해줍니다. 모든 추론을 기기에서 실행함으로써, SCM은 미디어가 기기를 벗어나지 않도록 보장하여 클라우드 기반 미디어 인덱싱에 대한 프라이빗 대안을 제공합니다.

다섯 가지 특화 검색 모드

SCM은 다양한 유형의 미디어 데이터를 처리하기 위해 다섯 가지의 별개의 검색 모드를 구현하여, 사용자가 형식에 관계없이 특정 순간이나 텍스트를 찾을 수 있도록 보장합니다.

의미론적 파일 및 장면 검색

SCM은 비전 모델을 사용하여 이미지 임베딩에 대한 코사인 유사도로 결과를 순위화합니다.

파일 모드: 의미로 전체 사진과 비디오를 검색하며, 파일 이름 및 구문 부스트와 함께 비전 순위화를 활용합니다.
장면 모드: 비디오를 샷으로 분할하고 임베딩하여, 사용자가 파일을 찾는 것에 그치지 않고 비디오 내 특정 타임코드로 직접 이동할 수 있게 합니다.

OCR 및 대화 검색

문자 그대로의 텍스트 검색을 위해, SCM은 속도와 오프라인 가용성을 보장하기 위해 비전 모델을 우회합니다.

OCR 모드: Tesseract를 사용하여 이미지 및 프레임의 보이는 텍스트에 대해 쿼리 토큰을 문자 그대로 일치시킵니다. 영어와 추가로 토글 가능한 35개 언어를 지원합니다.
대화 모드: OpenAI의 Whisper(tiny.en 또는 base.en)를 사용하여 비디오 트랜스크립트에 대해 정확한 문자 그대로 검색을 수행합니다. 정확한 줄, 8초 창 내의 정확한 단어, 같은 비디오 내에서 말한 모든 단어의 세 가지 일치 계층을 제공합니다.

로컬 LLM 통합(선택)

SCM에는 llama.cpp 사이드카로 구동되는 선택적 "Ask" 모드가 포함되어 있습니다. 이를 통해 사용자는 RAG(검색 증강 생성) 접근 방식으로 로컬 라이브러리와 채팅할 수 있으며, 모델은 추출된 대화, OCR 텍스트 및 파일 이름을 기반으로 질문에 답변합니다. 지원되는 모델에는 Qwen3 1.7B(기본값) 및 Llama 3.2 3B가 포함됩니다.

기술 아키텍처 및 파이프라인

SCM은 Electron과 Bun을 사용하여 구축되었으며, 인덱싱 및 추론을 위해 다양한 특수 워커를 활용합니다.

비전 모델 선택

사용자는 속도와 세부 묘사에 대한 요구에 따라 네 가지 ONNX 런타임 모델 간에 전환할 수 있습니다:

CLIP ViT-L/14@336: 실제 비디오 장면 검색의 기본값.
SigLIP-2-B/16: 가장 빠른 대량 가져오기에 최적화됨.
SigLIP-2-L/16@256: 작은 객체 및 화면 텍스트를 위한 고세부 모델.
SigLIP-B/16@384: 최대 세부 묘사.

비디오 처리 파이프라인

비디오 인덱싱의 계산 부하를 처리하기 위해, SCM은 ffmpeg를 사용하여 샷 경계를 스캔하고 세그먼트 계획을 구축합니다. 사용자는 "Eco"(포인트당 60초)에서 "Ultra Pro"(포인트당 2.5초)까지 다섯 가지 샘플링 프리셋 중에서 선택할 수 있습니다. 각 세그먼트는 중간 프레임을 임베딩하고 빠른 검색을 위해 포스터를 저장합니다.

라이브러리 관리 및 개인정보 보호

SCM은 "구성에 의한 개인정보 보호" 철학을 채택합니다. 모든 가중치(Hugging Face, Tesseract CDN, GitHub)는 한 번 다운로드되고 SHA-256으로 검증됩니다. 미디어는 앱 관리 라이브러리로 복사되고 디스크에서 스트리밍됩니다. 시스템은 중복 제거를 위해 SHA-256 콘텐츠 해싱을 사용하여 이름이 변경된 파일이 불필요하게 다시 인덱싱되지 않도록 보장합니다.

커뮤니티 통찰 및 고려 사항

Hacker News에서 사용자 간의 논의는 도구의 여러 기술적 트레이드오프와 잠재적 개선 사항을 강조했습니다:

인덱싱 성능: 사용자는 프레임 샘플링 속도가 성능에 중요하다고 언급했습니다. 한 개발자는 초당 한 프레임으로 12k 비디오를 샘플링하는 데 며칠이 걸릴 수 있다고 언급하며, SCM의 구성 가능한 샘플링 프리셋의 중요성을 강조했습니다.
OCR 프레임워크: 일부 사용자는 Apple의 네이티브 Vision 프레임워크가 macOS 특정 애플리케이션에서 Tesseract보다 더 성능이 좋고 정확할 것이라고 제안했습니다.
대체 도구: Immich는 유사한 AI 기반 사진 및 비디오 검색 기능을 제공하는 크로스 플랫폼 대안으로 언급되었습니다.
리소스 소비: 대규모 라이브러리(예: 12,000개 비디오)를 처리하는 데 드는 시간과 계산 비용에 대한 질문이 있었으며, SCM은 백그라운드 재임베딩 프로세스와 캐시된 샷 계획을 통해 이를 해결합니다.

"mac용이니 정말로 Apple의 Vision 프레임워크를 OCR에 사용해야 합니다. 속도와 정확도 모두에서 Tesseract를 압도합니다."

설치 및 요구 사항

SCM은 macOS 12+ 및 Bun 패키지 관리자가 필요합니다. Homebrew를 통해 다음 명령으로 설치할 수 있습니다:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm