Roy3838/Observer

해결하는 문제

Observer AI를 사용하면 사용자는 화면, 카메라, 오디오를 포함한 컴퓨터 환경을 수동적으로 모니터링하고 관찰한 내용을 기반으로 동작이나 알림을 자동으로 트리거하는 "마이크로 에이전트"를 만들 수 있습니다. 로깅, 반응 및 알림 프로세스를 자동화하여 수동 모니터링의 필요성을 제거합니다.

작동 방식

사용자는 세 가지 구성 요소를 결합하여 에이전트를 구축합니다:

1. 센서: 스크린샷, 카메라 피드, 화면 또는 카메라의 OCR(텍스트 인식), 클립보드 콘텐츠 및 오디오 전사(Whisper 통해)와 같은 데이터를 캡처하는 입력입니다.
2. 모델: 시스템 프롬프트를 기반으로 센서 데이터를 처리하는 로컬 LLM(llama.cpp, Ollama 또는 Transformers.js 통해)입니다.
3. 도구: 모델의 출력을 기반으로 에이전트가 실행할 수 있는 JavaScript 함수입니다. 여기에는 알림 전송(Email, Discord, Telegram, WhatsApp, SMS), 에이전트 메모리 관리, 비디오 클립 녹화 및 시스템과의 상호 작용(마우스 클릭, 브라우저 알림)이 포함됩니다.

대상 사용자

로컬 추론을 사용하여 데이터 프라이버시를 유지하면서 환경 모니터링 및 알림 워크플로우를 자동화하려는 사용자를 위해 설계되었습니다.

주요 기능

• 멀티모달 감지: 종합적인 관찰을 위해 화면, 카메라 및 오디오 입력을 지원합니다.
• 로컬 추론: 데이터 프라이버시를 보장하기 위해 Ollama, llama.cpp 및 Transformers.js와 호환됩니다.
• 광범위한 알림 제품군: Discord, Telegram, WhatsApp, SMS 및 Email을 위한 통합 도구.
• 프로그래밍 가능한 로직: JavaScript 샌드박스를 사용하여 모델 응답에 대한 사용자 정의 반응을 허용합니다.
• 지능형 메모리: 에이전트는 텍스트 및 이미지 기반 메모리를 저장하고 검색할 수 있습니다.