ok-oldking/ok-script

何を解決するか

Windowsアプリケーション、Windowsゲーム、Androidエミュレーター、ADB接続デバイスとのインタラクションを自動化するための統合されたPythonフレームワークを提供します。異なるプラットフォーム用に別々の自動化スクリプトを書く必要がなく、1つのタスクコードセットでこれらの環境を横断して動作させることができます。

動作方法

フレームワークはコンピュータビジョンを活用してUI要素を識別し、アクションをトリガーします。OCR（光学式文字認識）、OpenCVテンプレートマッチング、YOLOベースの検出など、複数のビジョン技術を統合しています。視覚的アセットを管理するため、テンプレート素材にCOCOフォーマットを使用しており、ターゲットデバイスの画面解像度に応じてテンプレートを自動的にスケーリングできるようにしています。

対象ユーザー

デスクトップソフトウェアおよびWindowsまたはAndroid上で動作するモバイルゲーム向けの自動化ボットを開発する開発者を対象としています。

特徴

• マルチプラットフォーム対応: 1つのコードベースでWindowsクライアント、Androidエミュレーター、ADBデバイスをサポート。
• 柔軟なインターフェースオプション: ヘッドレスモード、QtベースのデスクトップGUI、FastAPIベースのWebインターフェースのいずれでも実行可能。
• ビジョン統合: OCR、テンプレートマッチング、YOLOの組み込みサポート。
• 解像度対応: さまざまな画面解像度に自動的にテンプレートをスケーリング。
• 開発者向けツール: スクリーンショット、入力シミュレーション、デバイス制御、視覚的デバッグオーバーレイなどのツールを含む。