HITsz-TMG/KnowAct

해결하는 문제

KnowAct-GUIClaw는 데스크탑(macOS, Linux, Windows), Android, iOS, HarmonyOS를 포함한 여러 플랫폼에서 작업을 자동화하기 위해 설계된 개인용 GUI 어시스턴트입니다. 장기적인 GUI 자동화의 과제를 해결하기 위해, 에이전트가 기억과 기술 습득을 통해 능력을 학습하고 진화할 수 있는 프레임워크를 제공합니다.

작동 방식

이 시스템은 '지식–경로 결정–행동–반성' 루프를 기반으로 작동합니다. 멀티모달 모델을 사용하여 화면을 인식하고 작업을 수행합니다. 프레임워크에는 자가 진화 메커니즘이 포함되어 있으며, Android 단축키를 추론하고 검증하며, 성공적인 경로에서 재사용 가능한 기술을 추출하고, GUI 메모리 백업과 권한 정책을 유지하여 향후 행동을 안내합니다.

대상 사용자

GUI 에이전트를 개발하거나 연구하는 개발자 및 연구자에게 적합합니다. 다양한 비전-언어 모델과 통합할 수 있는 크로스플랫폼 자동화 도구가 필요하며, nanobot을 통한 완전한 에이전트 호스트 또는 독립형 CLI를 모두 지원합니다.

주요 특징

• 크로스플랫폼 지원: Android, iOS, HarmonyOS 및 주요 데스크탑 운영체제에서 작동합니다.
• 자기 진화 기능: 단축키를 자동으로 탐지하고 검증하여 공유 기술 파일로 승격할 수 있습니다.
• 고성능: 오픈소스 모델을 사용하여 MobileWorld 벤치마크에서 최상의 성능을 달성합니다.
• 유연한 배포: WebUI가 포함된 완전한 에이전트 호스트 또는 가벼운 독립형 CLI 도구로 제공됩니다.
• 사용자 정의 프로필: Qwen, Seed, Venus 등 다양한 모델 패밀리의 액션 형식에 맞는 사전 구성된 에이전트 프로필을 포함합니다.