WallBreaker2/op

何を解決するか

OPはWindowsデスクトップ自動化のための統合インターフェースを提供し、ウィンドウ管理、スクリーンキャプチャ、入力シミュレーション、視覚認識といった分散したツールを1つのプラグインに統合します。Windowsアプリケーションと対話する必要があるスクリプトや自動化プログラムの作成を簡素化し、特にバックグラウンド実行や高度な視覚検出を必要とするケースに最適です。

動作方法

C++で実装され、Python、Go、COM用のバインディングを備え、複数の低レベルWindows機能を統合しています：

• キャプチャ＆入力：GDI、DXGI、WGC、DirectX Hook、OpenGLなどの複数のスクリーンショットバックエンドをサポートし、滑らかな移動やDX入力ロックを備えたマウス/キーボード入力のシミュレーションを実現します。
• 視覚認識：従来の色/画像検索やOpenCVテンプレートマッチングに加え、dot-matrixフォントまたは外部HTTPサービス（Tesseract/PaddleOCRなど）を介したOCR、および外部HTTPサービスを介したYOLOオブジェクト検出を組み合わせます。
• システム連携：ウィンドウ列挙、プロセス照会、直接的なメモリ読み書き操作を処理します。

対象ユーザー

Windows自動化スクリプトの開発者、ボット作成者、ソフトウェアテスト担当者で、OSおよびGUIアプリケーションと対話するための高性能で多言語対応のツールキットを必要とする方々です。

主な特徴

• 多様なキャプチャバックエンド：DXGIやOpenGL ESを含む幅広いスクリーンショット方法をサポートし、高性能キャプチャを実現します。
• 多言語対応：PythonおよびGo用のネイティブバインディングに加え、COMおよびC APIへのアクセスも提供します。
• ハイブリッドOCR/検出：軽量なローカルdot-matrix OCRとスケーラブルなHTTPベースのOCRおよびYOLO検出を両方提供します。
• バックグラウンド自動化：バックグラウンドバインディングと分離されたディスプレイ/入力ハンドルをサポートし、干渉のない自動化を実現します。
• メモリアクセス：プロセスメモリの読み書き機能を備えています。