microsoft/fara

解决的问题

Fara1.5 解决了创建能够像人类一样真正使用计算机的 AI 代理的困难。它不依赖于基于文本的可访问性树或独立的解析模型，而是让代理能够视觉感知浏览器，并通过鼠标和键盘输入执行多步骤任务。

工作原理

Fara1.5 是基于 Qwen3.5 构建的三种尺寸（4B、9B 和 27B）的原生计算机使用代理（CUA）家族。它采用「观察-思考-行动」循环：模型获取浏览器的截图和对话历史，分析当前状态，然后预测鼠标点击或键盘输入的具体坐标。

为训练这些模型，微软开发了 FaraGen1.5，这是一个可扩展的数据流水线，利用合成环境（如邮件、日历等的克隆）以及求解器和验证系统，生成高质量的训练数据，而无需完全依赖昂贵的人工演示。

适用人群

专为希望构建自主网页代理的研究人员和开发者设计，也适用于希望自动化日常网页任务（如预订旅行、比价、填写表单）的用户。

主要亮点

• 视觉操作：通过直接坐标预测与网页交互，而非依赖可访问性树。
• 紧凑规模：提供 4B、9B 和 27B 参数版本，实现更低延迟和更好隐私保护。
• 类人交互：经过训练，可主动询问缺失信息、标记模糊点，并在执行不可逆操作前暂停等待批准。
• 全面基准测试：包含 WebTailBench（用于真实世界任务）和 CUAVerifierBench（用于评估评分代理表现的裁判）。