tencentmusic/page-eyes-agent

解決的問題

PageEyes Agent 透過允許使用者使用自然語言而非撰寫複雜腳本來控制應用程式，簡化了 UI 自動化與測試。它支援跨多個平台的自動化 UI 檢查與測試，大幅減少建立與維護自動化測試套件所需的繁瑣手動工作。

運作方式

基於 Pydantic AI 框架建構，此代理可將自然語言指令轉換為 UI 操作。它可在兩種主要模式下運作：一種是使用視覺語言模型（VLM）的輕量級模式，另一種是結合專用視覺模型（OmniParserV2）進行元素感知，並搭配標準大型語言模型（LLM）進行路徑規劃的混合模式。此架構讓即使較小的 LLM 也能處理複雜的導航任務，而無需在每一步都依賴完整的 VLM。

適用對象

專為需要執行跨平台 UI 自動化的 QA 工程師與測試人員設計，也適合希望將 AI 驅動的 UI 互動整合至工作流程中的開發者。

核心亮點

• 跨平台支援：支援 Web、Android、iOS、HarmonyOS Next 與 Electron 桌面應用程式。
• 自然語言驅動：根據純文字指令執行任務並進行斷言。
• 彈性模型整合：支援 DeepSeek、OpenAI 與 Qwen 等多種模型。
• 詳細報告生成：產生執行日誌與視覺化報告，協助測試人員驗證結果。