jmerelnyc/Photo-agents

Autonomous self-evolving agents. Vision-grounded layered memory and self-written skills for LLM agents that operate your computer.

What it solves

Photo Agents는 인간처럼 컴퓨터 화면을 인식하고 상호작용할 수 있는 자율 에이전트 프레임워크를 제공합니다. 텍스트 전사에만 의존하는 LLM 에이전트의 문제를 해결하고, 화면의 실제 시각 관찰에 행동을 기반함으로써 소프트웨어를 조작하고 인터페이스를 자율적으로 탐색할 수 있게 합니다.

How it works

시스템은 "perceive → reason → act" 사이클을 도구 호출 LLM이 구동합니다. 시각 입력을 처리하고 관찰을 계층형 메모리 시스템(working, global, SOP, session 아카이브)에 저장합니다. 에이전트는 성공적인 결과를 기반으로 자체 "스킬"을 작성하여 시간이 지남에 따라 진화할 수 있습니다. 파일 I/O, 샌드박스 코드 실행(Python, PowerShell, bash) 및 Chrome DevTools Protocol 브리지를 통한 브라우저 자동화를 위한 물리적 실행 도구 세트도 포함됩니다.

Who it’s for

로컬에서 자율 에이전트를 배포하여 데스크톱 환경을 관리하고, 브라우저 작업을 자동화하며, Windows, macOS, Linux 등 다양한 운영 체제에서 코드를 실행하고자 하는 사용자를 위해 설계되었습니다.

Highlights

  • Multi-Provider LLM Support: Native integration with Anthropic Claude and OpenAI GPT, including a failover session router.
  • Self-Evolving Capabilities: Agents can create their own skills and SOPs from real‑world success.
  • Versatile Interfaces: Ships with multiple clients including a Streamlit web app, PyQt desktop app, and bots for Telegram, QQ, Feishu, WeCom, and DingTalk.
  • Local Data Ownership: The runtime runs locally to ensure the user maintains ownership of their screen data and keys.