ZJU-REAL/Awesome-GUI-Agents

해결하는 문제

이 프로젝트는 GUI 에이전트(화면을 보고 클릭하거나 입력하여 인간처럼 컴퓨터 인터페이스를 작동하는 AI 시스템)에 관한 최신 연구, 도구, 벤치마크를 모아 놓았습니다. 연구자와 개발자가 흩어진 소스를 뒤지지 않고 빠르게 변화하는 분야를 추적하는 데 도움이 됩니다.

작동 방식

저장소는 논문과 리소스를 주제별 섹션(지각, 탐색, 계획, 상호 작용)으로 구성합니다. 기술 보고서, 온라인 강화 학습 논문, GUI 접지 벤치마크, 메모리 메커니즘 등의 연대순 목록을 제공합니다. 또한 주간 논문 요약, ClawGUI와 같은 오픈 소스 프레임워크 링크, 회의 논문(AAAI, ICLR) 분석도 포함합니다. 항목은 자주 업데이트되며 arXiv, GitHub, 모델 페이지에 대한 직접 링크가 함께 제공됩니다.

대상 독자

주로 GUI 자동화, 컴퓨터 사용 에이전트 또는 다중 모달 AI 시스템을 작업하는 연구자와 엔지니어를 대상으로 합니다. 그래픽 사용자 인터페이스와 상호 작용하는 에이전트를 구축하는 현재 접근 방식에 대한 개요를 원하는 모든 사람에게도 유용합니다.

주요 특징

• 주제와 날짜별로 정렬된 논문, 데이터 세트, 벤치마크의 선별된 목록
• 새로운 연구에 대한 주간 요약 및 회의별 분석(AAAI 2026, ICLR 2026)
• 오픈 소스 프로젝트, arXiv 논문, Hugging Face 모델에 대한 직접 링크(예: GUI-G2, ClawGUI)
• GUI 에이전트를 지각, 탐색, 계획, 상호 작용의 네 가지 핵심 기능으로 모듈식 분해