microsoft/fara

해결하는 문제

Fara1.5는 AI 에이전트가 실제로 인간처럼 컴퓨터를 사용할 수 있도록 하는 어려움을 해결합니다. 텍스트 기반의 접근성 트리나 별도의 파싱 모델에 의존하지 않고, 브라우저를 시각적으로 인식하고 마우스 및 키보드 입력을 사용하여 다단계 작업을 수행할 수 있게 합니다.

작동 방식

Fara1.5는 Qwen3.5 기반으로 구축된 3가지 크기(4B, 9B, 27B)의 네이티브 컴퓨터 사용 에이전트(CUA) 패밀리입니다. "관찰-사고-실행" 루프로 작동합니다: 모델은 브라우저의 스크린샷과 대화 기록을 받아 현재 상태를 분석한 후, 마우스 클릭이나 키보드 입력에 대한 구체적인 좌표를 예측합니다.

이러한 모델을 훈련하기 위해 Microsoft는 FaraGen1.5를 개발했습니다. 이는 메일, 캘린더 등과 같은 합성 환경을 사용하고, 솔버와 검증 시스템을 통해 고품질의 훈련 데이터를 생성하는 확장 가능한 데이터 파이프라인으로, 비용이 큰 인간의 시연에만 의존하지 않습니다.

대상 사용자

자율 웹 에이전트를 개발하는 연구자 및 개발자, 여행 예약, 가격 비교, 양식 작성과 같은 일상적인 웹 작업을 자동화하고자 하는 사용자에게 적합합니다.

주요 특징

• 시각적 운영: 접근성 트리가 아닌 직접 좌표 예측을 통해 웹페이지와 상호작용합니다.
• 작은 규모: 저지연과 더 나은 프라이버시를 위해 4B, 9B, 27B 파라미터 버전으로 제공됩니다.
• 인간과 유사한 상호작용: 부족한 정보를 요청하고, 모호함을 경고하며, 되돌릴 수 없는 작업을 수행하기 전에 승인을 기다립니다.
• 포괄적인 벤치마킹: 실제 세계 작업을 평가하기 위한 WebTailBench와 에이전트 성능을 평가하는 심사위원을 검증하기 위한 CUAVerifierBench를 포함합니다.