Sentient-OS-Labs/sentient-os

An on-device LLM understands your entire life, then proactively offers to get your work done through computer use.

해결하는 문제

Sentient OS는 현재 AI 어시스턴트의 프라이버시 및 컨텍스트 공백 문제를 해결합니다. 대부분의 AI 도구는 사용자가 자신의 전체 디지털 생활을 클라우드에 업로드할 수 없기 때문에 깊은 개인적 컨텍스트가 부족하며, 능동적이기보다는 반응적입니다. Sentient OS는 사용자의 삶에 대한 로컬 프라이빗 지식 베이스를 생성하여 사용자의 특정 컨텍스트를 이해하고, 작업을 선제적으로 제안하거나 computer use를 통해 실행할 수 있는 AI를 가능하게 합니다.

작동 방식

이 시스템은 작업의 약 90%가 온디바이스에서 수행되고 10%는 사용자의 자체 ChatGPT 구독을 통해 프론티어 모델을 사용하는 하이브리드 컴퓨팅 아키텍처를 사용합니다.

  1. 로컬 처리: 매일 밤 새벽 3시에 시스템이 Mac을 깨우고 로컬 모델(Gemma 4 E4B)을 사용하여 파일, 스크린샷, WhatsApp, iMessage 및 Apple Notes를 읽습니다. 불필요한 정보와 민감한 PII를 필터링하여 깨끗한 요약을 생성합니다.
  2. 지식 베이스: 이러한 요약은 프론티어 모델에 의해 증류되어 Mac에 로컬로 저장되는 플레인 마크다운 파일(Obsidian 스타일) 폴더로 변환됩니다.
  3. 선제적 인텔리전스: 프론티어 모델이 지식 베이스를 분석하여 사용자가 한 번의 클릭으로 실행할 수 있는 "모닝 카드"(초안 답장 또는 작업 알림)를 준비합니다.
  4. Sidekick: Mac 노치 또는 키보드 단축키를 통해 액세스할 수 있는 음성/텍스트 인터페이스로, "computer use" 기능을 사용하여 사용자의 앱 및 브라우저 내에서 작업을 수행합니다.
  5. 선택적 클라우드 미러: 사용자는 제로 액세스 AES-256-GCM 암호화를 사용하여 지식 베이스를 클라우드 MCP 서버에 선택적으로 동기화할 수 있으며, 이를 통해 Claude 또는 ChatGPT와 같은 다른 AI가 개인적 컨텍스트에 액세스할 수 있도록 합니다.

대상 사용자

엄격한 데이터 프라이버시를 유지하면서 고도로 개인화된 선제적 AI 어시스턴트를 원하는 Apple Silicon(M1 이상) 기반 macOS 15+ 실행 Mac 사용자.

주요 특징

  • 프라이버시 우선 아키텍처: 원시 개인 데이터는 절대 Mac을 떠나지 않습니다. PII가 제거된 요약만 클라우드로 전송됩니다.
  • 온디바이스 추론: Apple Silicon에 최적화되어 있으며, 8GB RAM만 있는 장치에서도 Gemma 4 E4B의 커스텀 LiteRT-LM 포크를 실행합니다.
  • 선제적 워크플로우: 프롬프트를 기다리는 대신, 사용자의 개인적 컨텍스트를 기반으로 밤사이에 작업 카드를 준비합니다.
  • Computer Use: Sidekick는 로컬 애플리케이션 및 브라우저와 상호 작용하여 작업을 자율적으로 완료할 수 있습니다.
  • 투명한 메모리: 지식 베이스는 블랙박스 데이터베이스가 아닌 편집 가능한 마크다운 파일로 저장됩니다.