WallBreaker2/op

解决的问题

OP 为 Windows 桌面自动化提供统一接口，将窗口管理、屏幕捕获、输入模拟和视觉识别等分散的工具整合到一个插件中。它简化了创建需要与 Windows 应用程序交互的脚本和自动化程序的过程，尤其适用于需要后台运行或高级视觉检测的场景。

工作原理

使用 C++ 实现，并提供 Python、Go 和 COM 的绑定，集成了多项低级别 Windows 功能：

• 捕获与输入：支持多种截图后端（GDI、DXGI、WGC、DirectX Hook、OpenGL），并具备平滑移动和 DX 输入锁定功能的鼠标/键盘输入模拟。
• 视觉识别：结合传统颜色/图像搜索和 OpenCV 模板匹配，以及通过点阵字体或外部 HTTP 服务（如 Tesseract/PaddleOCR）实现的 OCR，以及通过外部 HTTP 服务实现的 YOLO 对象检测。
• 系统交互：处理窗口枚举、进程查询以及直接的内存读写操作。

适用人群

需要高性能、多语言工具包来与操作系统和 GUI 应用程序交互的 Windows 自动化脚本开发者、机器人创建者和软件测试人员。

主要亮点

• 多样化的捕获后端：支持多种截图方法，包括 DXGI 和 OpenGL ES，实现高性能捕获。
• 多语言支持：提供 Python 和 Go 的原生绑定，以及 COM 和 C API 访问。
• 混合 OCR/检测：提供轻量级本地点阵 OCR 和可扩展的 HTTP 基于 OCR 与 YOLO 检测。
• 后台自动化：支持后台绑定和分离的显示/输入句柄，实现无干扰自动化。
• 内存访问：支持读取和写入进程内存。