AmberSahdev/Open-Interface

Control Any Computer Using LLMs.

What it solves

Open Interface는 사용자가 자연어 요청으로 컴퓨터를 제어할 수 있게 합니다. 키보드와 마우스 입력을 자동화함으로써 수동 탐색이 필요 없으며, 다양한 애플리케이션에서 복잡한 작업을 수행할 수 있습니다.

How it works

시스템은 루프 형태로 동작합니다: 사용자의 목표와 현재 화면의 스크린샷을 LLM 백엔드(예: GPT-4o 또는 Gemini)로 전송합니다. LLM이 필요한 단계를 결정하고, 이를 인터프리터와 실행기를 통해 필요한 마우스·키보드 동작을 시뮬레이션합니다. 앱은 지속적으로 업데이트된 스크린샷을 받아 진행 상황을 평가하고 필요에 따라 경로를 수정합니다.

Who it’s for

macOS, Windows, Linux 사용자를 위해 설계되었으며, 반복적인 컴퓨터 작업을 자동화하거나 수동 입력 없이 소프트웨어에서 작업을 수행하고자 하는 사람들에게 적합합니다.

Highlights

  • Cross-platform support: Compatible with macOS, Windows, and Linux.
  • Flexible LLM backends: Supports GPT-4o, Google Gemini, and other OpenAI-style APIs (e.g., Llava).
  • Visual feedback loop: Uses real-time screenshots to monitor progress and adjust actions.
  • Broad application: Capable of tasks ranging from solving Wordle to creating meal plans in Google Docs.