Roy3838/Observer

Local Micro-Agents that monitor your screen, so you don't have to.

해결하는 문제

Observer AI는 컴퓨터 화면, 카메라, 오디오를 모니터링하고 관찰된 내용에 따라 특정 작업을 트리거하는 개인 자동화 에이전트 역할을 합니다. 파일 다운로드 완료, 카메라에 사람 포착, 화면에서 특정 로고 감지 시 알림 전송과 같은 "if-this-then-that" 스타일의 워크플로우를 설정할 수 있게 하여 수동 모니터링 문제를 해결합니다.

작동 방식

사용자는 센서(화면, 카메라, 마이크, 클립보드), 모델(추론을 위한 로컬 LLM), 도구(메시징, 이메일, 시스템 명령)라는 세 가지 구성 요소를 결합하여 "마이크로 에이전트"를 생성합니다. 에이전트는 루프 내에서 실행되며, 센서 데이터를 로컬 모델을 통해 처리하여 결정을 내리거나 정보를 추출합니다. 조건이 충족되면 에이전트는 JavaScript 기반 도구를 실행하여 WhatsApp 메시지 전송, 사운드 재생, 메모리에 데이터 기록과 같은 작업을 수행합니다.

대상 사용자

이 프로젝트는 민감한 화면이나 카메라 데이터를 클라우드로 전송하지 않고 데스크톱 환경과 상호 작용하는 비공개 로컬 우선 자동화 에이전트를 구축하려는 파워 유저 및 개발자를 위한 것입니다.

주요 특징

  • 개인정보 보호 중심: llama.cpp, Ollama 또는 Transformers.js를 통해 모델을 사용하여 완전히 로컬에서 실행됩니다.
  • 멀티모달 센서: 화면 캡처, OCR, 카메라 입력 및 오디오 전사를 지원합니다.
  • 광범위한 도구: 메시징(WhatsApp, Discord, Telegram, SMS), 시스템 알림 및 파일/메모리 관리를 위한 내장 함수가 포함되어 있습니다.
  • 유연한 로직: 텍스트 기반 LLM 추론과 고정밀 확률 기반 작업(예: 사람 존재 여부 감지)을 위한 특수 "결정 모델"을 모두 지원합니다.

관련

  • 프로젝트
    AtomicBot-ai/Atomic-Chat

    Atomic Chat은 오픈 웨이트 모델을 비공개로 실행할 수 있는 로컬 AI 애플리케이션이자 추론 엔진으로, 즐겨 사용하는 개발 도구 및 에이전트를 위한 OpenAI 호환 API를 제공합니다.

  • 프로젝트
    lycorp-jp/sim-use

    AI 에이전트가 토큰 효율적인 UI 아웃라인과 간소화된 상호작용 명령을 통해 iOS 및 Android 화면을 관찰하고 조작할 수 있게 해주는 크로스 플랫폼 CLI.

  • 프로젝트
    Core-Mate/OpenGUI

    OpenGUI는 AI 에이전트가 스크린샷을 해석하고 UI 작업을 발행하여 실제 Android 휴대폰을 제어할 수 있게 해주는 프레임워크입니다. WorkBuddy 및 DeepSeek Harness 플러그인을 통한 간편한 채팅 기반 사용, 고급 작업 계획을 위한 전체 선택적 백엔드, 탭, 스와이프, 입력 등을 수행하는 소형 Android 클라이언트를 제공합니다. 모바일 기기에서의 AI 기반 테스트, 자동화 및 콘텐츠 제작에 이상적입니다.

  • 프로젝트
    open-webui/open-webui

    Open WebUI는 AI 모델과 상호 작용하기 위한 사용자 친화적인 인터페이스를 제공하는 자체 호스팅 AI 플랫폼입니다. Ollama를 통한 로컬 모델과 OpenAI 호환 API를 지원합니다. 플러그인, 역할 기반 액세스 제어, 영구 메모리, RAG 등의 기능을 제공하며 완전히 오프라인으로 실행할 수 있습니다.

  • 프로젝트
    clawdotnet/openclaw.net

    OpenClaw.NET은 .NET 네이티브, 자체 호스팅 AI 에이전트 런타임으로 데스크톱 Avalonia UI(AgentQi Companion)를 제공합니다. OpenAI 호환 모델과 통신하는 게이트웨이를 실행하며 스트리밍, 도구 실행, 세션 메모리 및 다양한 통합(REST, WebSocket, MCP, 80개 이상의 도구, 채널 어댑터)을 지원합니다. 게이트웨이는 NativeAOT로 컴파일할 수 있어 엣지 또는 온프레미스 배포에 적합합니다. 사용자는 준비된 데스크톱 번들이나 소스에서 시작하여 채팅 명령으로 어시스턴트를 구성하고, .NET 플러그인이나 재사용 가능한 MetaSkill DAG 워크플로우로 기능을 확장할 수 있습니다.