ZJU-REAL/Awesome-GUI-Agents

解決する問題

このプロジェクトは、GUI エージェント（画面を見てクリックやタイピングを行うことで人間のようにコンピューターインターフェースを操作する AI システム）に関する最新の研究、ツール、ベンチマークをまとめています。研究者や開発者が、散在する情報源を探し回ることなく、急速に進化する分野を追跡するのに役立ちます。

仕組み

リポジトリは、論文とリソースをテーマ別セクション（知覚、探索、計画、相互作用）に整理しています。技術レポート、オンライン強化学習に関する論文、GUI グラウンディングベンチマーク、メモリメカニズムなどの時系列リストを提供します。また、毎週の論文要約、ClawGUI などのオープンソースフレームワークへのリンク、会議論文（AAAI、ICLR）の分析も含まれています。エントリは頻繁に更新され、arXiv、GitHub、モデルページへの直接リンクが付属しています。

対象読者

主に GUI 自動化、コンピューター使用エージェント、またはマルチモーダル AI システムに取り組む研究者とエンジニアを対象としています。グラフィカルユーザーインターフェースと対話するエージェントを構築する現在のアプローチの概要を求める人にも役立ちます。

ハイライト

• トピックと日付で並べ替えられた論文、データセット、ベンチマークのキュレーションリスト
• 新しい研究の毎週の要約と会議固有の分析（AAAI 2026、ICLR 2026）
• オープンソースプロジェクト、arXiv 論文、Hugging Face モデルへの直接リンク（例：GUI-G2、ClawGUI）
• GUI エージェントを 4 つのコア機能（知覚、探索、計画、相互作用）にモジュール分解