Ambient Context: LLM 메모리를 위한 로컬 텍스트 기반 활동 기록

Ambient Context는 대규모 언어 모델(LLM)의 장기 기억 역할을 할 수 있도록 사용자의 디지털 활동에 대한 지속적인 기록을 생성하도록 설계된 macOS 애플리케이션입니다. 스크린샷이나 비디오에 의존하는 기존의 활동 추적기와 달리, Ambient Context는 macOS accessibility tree를 사용하여 포커스된 창에서 텍스트를 직접 추출하고, 데이터를 로컬 Markdown 파일로 저장합니다.

Local-First Architecture and Privacy

Ambient Context는 민감한 사용자 데이터가 기계 외부로 절대 유출되지 않도록 엄격한 local-first 개인정보 보호 모델을 따라 작동합니다. 이 애플리케이션은 계정을 요구하지 않으며, 서버를 사용하지 않고, 번들된 모델이나 텔레메트리(telemetry)를 포함하지 않습니다.

주요 개인정보 보호 기능은 다음과 같습니다:

• Focused Window Only: 앱은 현재 포커스된 창만 읽습니다. 배경, 최소화되었거나 화면 밖의 창은 무시하며, 화면이 잠기면 작동을 중단합니다.
• Automatic Redaction: 비밀번호 관리자와 프라이빗 브라우징 창은 캡처에서 제외됩니다. 보안 입력 필드는 accessibility level에서 건너뛰어지며, 앱은 디스크에 쓰기 전에 자격 증명, API 키, 신용카드 번호를 삭제합니다.
• User-Owned Data: 모든 기록은 사용자가 선택한 폴더에 일반 Markdown 파일로 저장되어, grep 검색, 수동 삭제 또는 마이그레이션이 용이합니다.

Technical Implementation via Accessibility API

스크린샷에 대한 광학 문자 인식(OCR)을 사용하는 대신, Ambient Context는 macOS accessibility API를 활용하여 몇 초마다 포커스된 창의 텍스트를 읽습니다. 이 방식은 저장 공간 오버헤드를 최소화하고 이미지 기반 캡처와 관련된 개인정보 보호 위험을 피할 수 있습니다.

Compatibility and Limitations

앱이 accessibility tree에 의존하기 때문에, 효과는 애플리케이션마다 다릅니다:

• Chromium and Electron Apps: Chrome, Slack, VS Code, Obsidian과 같은 애플리케이션은 요청이 있을 때만 accessibility tree를 구축합니다. 이로 인해 초기 캡처가