Open-Interface: LLM을 사용하여 마우스 및 키보드 입력을 시뮬레이션하는 크로스 플랫폼 컴퓨터 자동화 도구

해결하는 문제

Open Interface는 사용자가 자연어 요청을 사용하여 컴퓨터를 제어할 수 있게 해줍니다. 다양한 애플리케이션에서 복잡한 작업을 수행하기 위해 키보드 및 마우스 입력을 자동화함으로써 수동 탐색의 필요성을 제거합니다.

작동 방식

시스템은 루프 방식으로 작동합니다: 사용자의 목표와 현재 화면의 스크린샷을 LLM 백엔드(예: GPT-4o 또는 Gemini)로 전송합니다. LLM은 필요한 단계를 결정하고, 이는 인터프리터와 실행기를 통해 필요한 마우스 및 키보드 동작을 시뮬레이션하는 데 전달됩니다. 앱은 지속적으로 업데이트된 스크린샷을 찍어 진행 상황을 평가하고 필요에 따라 경로를 수정합니다.

대상 사용자

macOS, Windows, 및 Linux 사용자 중 반복적인 컴퓨터 작업을 자동화하거나 수동 입력 없이 소프트웨어에서 작업을 수행하고자 하는 사용자를 위해 설계되었습니다.

주요 특징

• 크로스 플랫폼 지원: macOS, Windows, 및 Linux와 호환됩니다.
• 유연한 LLM 백엔드: GPT-4o, Google Gemini, 및 기타 OpenAI-style API(예: Llava)를 지원합니다.
• 시각적 피드백 루프: 실시간 스크린샷을 사용하여 진행 상황을 모니터링하고 동작을을 조정합니다.
• 광범위한 애플리케이션: Wordle 해결부터 Google Docs에서 식단 계획을 작성하는 것까지 다양한 작업을 수행할 수 있습니다.