oculix-org/SikuliX1

SikuliX version 2.0.0+ (2019+)

What it solves

Windows、macOS、Linux を用いて、アプリケーションのソースコード、DOM、またはアクセシビリティ API を必要とせずに、グラフィカルユーザーインターフェース (GUI) を自動化する方法を提供します。

このツールは OpenCV を介してコンピュータビジョンを使用し、画面上の視覚的要素を識別します。一度画像認識によって GUI 要素が認識されたら、ソフトウェアはマウスとキーボード入力をシミュレートして、それとインタラクションを行います。

オペレーティングシステムや基盤となるソフトウェアアーキテクチャに関わらず、画面上の可視要素に対して自動化タスクを行いたいユーザー。

プロジェクト
LazoVelko/neverclick
コンピュータビジョンを使用して、ユーザーがキーボードだけでマウス操作を行うことができるデスクトップアプリケーション。物理的なマウスの使用を減らすことを目的としています。
プロジェクト
ok-oldking/ok-script
OCRおよびテンプレートマッチングを使用してUI操作を行う、Windowsアプリケーション、ゲーム、Androidデバイス向けのコンピュータビジョンベースのPython自動化フレームワーク。
プロジェクト
AmberSahdev/Open-Interface
LLM を使用し、視覚フィードバックに基づいてキーボードとマウス入力をシミュレートし、PC を自律的に操作する AI 駆動のコンピュータ自動化ツールです。
プロジェクト
remorses/usecomputer
macOS、Linux、Windows でスクリーンショット、マウス操作、キーボード合成を実行するためのデスクトップ自動化 CLI およびライブラリ。
プロジェクト
opencv/opencv
OpenCVは、AI駆動の視覚的解釈を可能にするために、画像および動画の処理に使用できるツールやアルゴリズムを提供するオープンソースのコンピュータビジョンライブラリです。