WallBreaker2/op

해결하는 문제

OP는 Windows 데스크톱 자동화를 위한 통합 인터페이스를 제공하여, 창 관리, 화면 캡처, 입력 시뮬레이션, 시각 인식 등 분산된 도구들을 하나의 플러그인으로 통합합니다. Windows 애플리케이션과 상호작용해야 하는 스크립트 및 자동화 프로그램을 만드는 과정을 단순화하며, 특히 백그라운드 실행이나 고급 시각 검출이 필요한 경우에 적합합니다.

작동 방식

C++로 구현되었으며 Python, Go, COM용 바인딩을 제공하며 여러 저수준 Windows 기능을 통합합니다:

• 캡처 및 입력: GDI, DXGI, WGC, DirectX Hook, OpenGL 등의 다양한 스크린샷 백엔드를 지원하며, 부드러운 이동 및 DX 입력 잠금 기능을 갖춘 마우스/키보드 입력 시뮬레이션을 제공합니다.
• 시각 인식: 전통적인 색상/이미지 검색 및 OpenCV 템플릿 매칭에 더해, dot-matrix 폰트 또는 외부 HTTP 서비스(Tesseract/PaddleOCR 등)를 통한 OCR과 외부 HTTP 서비스를 통한 YOLO 객체 탐지 기능을 결합합니다.
• 시스템 상호작용: 창 열거, 프로세스 쿼리, 직접적인 메모리 읽기/쓰기 작업을 처리합니다.

대상 사용자

Windows 자동화 스크립트 개발자, 봇 제작자, 소프트웨어 테스터로서 OS 및 GUI 애플리케이션과 상호작용하기 위한 고성능 다국어 툴킷이 필요한 사용자들입니다.

주요 특징

• 다양한 캡처 백엔드: DXGI 및 OpenGL ES를 포함한 다양한 스크린샷 방법을 지원하여 고성능 캡처를 구현합니다.
• 다국어 지원: Python 및 Go용 네이티브 바인딩에 더해 COM 및 C API 접근도 제공합니다.
• 하이브리드 OCR/탐지: 가벼운 로컬 dot-matrix OCR과 확장 가능한 HTTP 기반 OCR 및 YOLO 탐지를 모두 제공합니다.
• 백그라운드 자동화: 백그라운드 바인딩과 분리된 디스플레이/입력 핸들 지원으로 간섭 없는 자동화를 가능하게 합니다.
• 메모리 접근: 프로세스 메모리의 읽기 및 쓰기 기능을 포함합니다.