oculix-org/SikuliX1
SikuliX version 2.0.0+ (2019+)
What it solves
Windows、macOS、Linux を用いて、アプリケーションのソースコード、DOM、またはアクセシビリティ API を必要とせずに、グラフィカルユーザーインターフェース (GUI) を自動化する方法を提供します。
How it works
このツールは OpenCV を介してコンピュータビジョンを使用し、画面上の視覚的要素を識別します。一度画像認識によって GUI 要素が認識されたら、ソフトウェアはマウスとキーボード入力をシミュレートして、それとインタラクションを行います。
Who it’s for
オペレーティングシステムや基盤となるソフトウェアアーキテクチャに関わらず、画面上の可視要素に対して自動化タスクを行いたいユーザー。
Highlights
- 画像ベースの要素識別には OpenCV を使用。
- 複数の OS (Windows, macOS, Linux) で動作。
- 「見えれば、自動化できる」という原則に基づいて動作します。
関連
- プロジェクト
LazoVelko/neverclickコンピュータビジョンを使用して、ユーザーがキーボードだけでマウス操作を行うことができるデスクトップアプリケーション。物理的なマウスの使用を減らすことを目的としています。
- プロジェクト
ok-oldking/ok-scriptWindowsアプリ、ゲーム、Androidデバイス向けのコンピュータビジョンベースのPython自動化フレームワーク。OCRおよびテンプレートマッチングをサポート。
- プロジェクト
- プロジェクト
remorses/usecomputerusecomputer は、macOS、Linux、Windows でスクリーンショット、座標マップ、マウス/キーボード操作（クリック、ドラッグ、入力、スクロール）を実行できるクロスプラットフォームCLI（およびTypeScriptライブラリ）です。ネイティブZigバックエンドを使用し、正確な画面-画像マッピングを提供するcoord-mapシステム、SSEによるグローバル入力イベントストリーミング、エージェントフレンドリーな画像配信のためのKitty Graphics Protocolをサポートしています。
- プロジェクト
opencv/opencvOpenCV は、AIを搭載した視覚解釈ソフトウェアを構築するために必要なツールとアルゴリズムを提供するオープンソースのコンピュータビジョンライブラリです。