ok-oldking/ok-script

何を解決するか

Windowsアプリケーション、Windowsゲーム、Androidエミュレーター、ADBデバイスの間でタスクを自動化するための統合されたPythonフレームワークを提供します。異なるプラットフォーム用に別々の自動化ロジックを書く必要がなく、画面操作とデバイス制御のための一貫したツールセットを提供します。

動作方法

フレームワークはコンピュータビジョンを使用してUI要素を識別し、アクションをトリガーします。OCR、OpenCVテンプレートマッチング、YOLOベースのビジョンソリューションなど、複数の認識方法をサポートしています。視覚的アセットの管理にはCOCO形式を使用しており、ターゲットデバイスの画面解像度に応じてテンプレートを自動的にスケーリングできるようにしています。

対象ユーザー

公式APIが提供されていないソフトウェアやゲーム用のボットや自動テストを作成する必要がある開発者や自動化エンジニア。特にWindowsおよびAndroid環境をターゲットとする方々。

特徴

• マルチプラットフォーム対応: 1つのタスクコードでWindowsクライアント、Androidエミュレーター、ADBデバイスのすべてで動作します。
• 柔軟なインターフェース: ヘッドレスモード、QtベースのデスクトップGUI、FastAPIベースのWebインターフェースのいずれでも実行可能。
• ビジョン駆動: OCR、OpenCV、YOLOを統合し、堅牢な要素検出を実現。
• 解像度対応: COCO形式のアセットを使用して、異なる画面解像度に自動的にテンプレートをスケーリング。
• 開発者向けツール: スクリーンショット、入力シミュレーション、デバイス制御、視覚的デバッグオーバーレイなどの組み込みツールを提供。