jmerelnyc/Photo-agents

Autonomous self-evolving agents. Vision-grounded layered memory and self-written skills for LLM agents that operate your computer.

What it solves

Photo Agents は、人間と同様にコンピュータ画面を認識し操作できる自律エージェントのフレームワークを提供します。テキストのトランスクリプトだけに依存する LLM エージェントの問題を解決し、画面の実際の視覚観測に基づいて行動をグラウンドすることで、ソフトウェアの操作やインターフェースのナビゲーションを自律的に行えるようにします。

How it works

システムは「perceive → reason → act」サイクルをツール呼び出し LLM が駆動します。視覚入力を処理し、観測結果を階層化メモリシステム（working、global、SOP、session アーカイブ）に保存します。エージェントは成功した結果に基づいて独自の「スキル」を作成し、時間とともに進化させることができます。ファイル I/O、サンドボックスコード実行（Python、PowerShell、bash）、Chrome DevTools Protocol ブリッジによるブラウザ自動化のための物理実行ツールセットも含まれています。

Who it’s for

ローカルで自律エージェントを展開し、デスクトップ環境を管理し、ブラウザタスクを自動化し、Windows、macOS、Linux の各 OS 上でコードを実行したいユーザー向けに設計されています。

Highlights

  • Multi-Provider LLM Support: Native integration with Anthropic Claude and OpenAI GPT, including a failover session router.
  • Self-Evolving Capabilities: Agents can create their own skills and SOPs from real‑world success.
  • Versatile Interfaces: Ships with multiple clients including a Streamlit web app, PyQt desktop app, and bots for Telegram, QQ, Feishu, WeCom, and DingTalk.
  • Local Data Ownership: The runtime runs locally to ensure the user maintains ownership of their screen data and keys.