go-vgo/robotgo

解決する課題

Robotgoは、デスクトップ操作を自動化するためのクロスプラットフォームな手段を提供します。開発者はマウスやキーボードをプログラムで制御し、画面内容を読み取り、ウィンドウを管理し、グローバルなシステムイベントをリッスンできるため、Mac、Windows、Linuxそれぞれにプラットフォーム固有のコードを書く必要がなくなります。

仕組み

異なるオペレーティングシステムにわたるシステムレベルのAPIのラッパーとして機能します。従来のCgoベースの実装に加え、Windows、macOS、X11、Wayland、libei向けの実験的な純粋なGo（Cgoフリー）バックエンドを含む、複数のバックエンドを提供します。これにより、ユーザー入力（クリック、タイピング、スクロール）のシミュレーション、画面ピクセルまたはビットマップのキャプチャ、特定のプロセスを対象としたウィンドウハンドルの特定が可能になります。

対象者

デスクトップ自動化ツール、自動テストスイート、または「Computer Use」（人間のようにGUIと対話すること）が可能なAIエージェントを構築しているGo開発者向けに設計されています。

ハイライト

• クロスプラットフォーム対応: Mac、Windows、Linux（X11およびWaylandを含む）で動作します。
• 入力制御: マウスの移動、クリック、キーボードのタイピング、キーコンビネーションを完全に制御できます。
• 画面認識: 画面のキャプチャ、ピクセルカラーの取得、画面上の特定のビットマップや画像を見つける機能を提供します。
• ウィンドウ管理: プロセスIDの検索、ウィンドウの有効化、ウィンドウハンドルの管理が可能です。
• グローバルイベントリスニング: gohook パッケージを介して、キーボードおよびマウスイベントのフックを登録できます。