WallBreaker2/op

解決的問題

OP 提供 Windows 桌面自動化的統一介面，將窗口管理、螢幕擷取、輸入模擬與視覺辨識等分散的工具整合至單一外掛程式。簡化了建立需要與 Windows 應用程式互動的腳本與自動化程式的流程，特別適合需要背景執行或高階視覺檢測的場景。

工作原理

以 C++ 實作，並提供 Python、Go 與 COM 的綁定，整合多項低階 Windows 功能：

• 擷取與輸入：支援多種螢幕截圖後端（GDI、DXGI、WGC、DirectX Hook、OpenGL），並具備平滑移動與 DX 輸入鎖定功能的滑鼠/鍵盤輸入模擬。
• 視覺辨識：結合傳統色彩/影像搜尋與 OpenCV 模板比對，以及透過點陣字型或外部 HTTP 服務（如 Tesseract/PaddleOCR）的 OCR，以及透過外部 HTTP 服務的 YOLO 物件檢測。
• 系統互動：處理視窗列舉、程序查詢與直接的記憶體讀寫作業。

適用對象

需要高效率、多語言工具包來與作業系統及 GUI 應用程式互動的 Windows 自動化腳本開發者、機器人創作者與軟體測試人員。

主要特色

• 多樣化的擷取後端：支援多種螢幕截圖方法，包括 DXGI 與 OpenGL ES，實現高效能擷取。
• 多語言支援：提供 Python 與 Go 的原生綁定，以及 COM 與 C API 存取。
• 混合 OCR/檢測：提供輕量級本地點陣 OCR 與可擴展的 HTTP 基於 OCR 與 YOLO 檢測。
• 背景自動化：支援背景綁定與分離的顯示/輸入句柄，實現無干擾自動化。
• 記憶體存取：包含讀取與寫入程序記憶體的功能。