franzenzenhofer/big-arrow-on-the-screen

解決する課題

AIエージェントが画面上で特定のユーザー操作（例：「ダイアログの『許可』をクリックして」）を求める際、人間とのコミュニケーションに苦労することがよくあります。ユーザーが見ていない可能性のあるターミナルにテキストメッセージを出力する代わりに、big-arrow-on-the-screen を使用すると、エージェントは非常に目立つ矢印やラベルを使って、macOSデスクトップ上の特定のUI要素、ウィンドウ、または座標を視覚的に指し示すことができます。

仕組み

Swiftで記述されたmacOSコマンドラインツールで、すべてのウィンドウ、ディスプレイ、スペースの最前面に透明なオーバーレイウィンドウを作成します。ラベル、座標、ウィンドウタイトルなどで定義されたターゲットを指す矢印、ボックス、リングを描画しますが、キーボードフォーカスを奪ったり、ターゲット要素へのクリックをブロックしたりすることはありません。AIエージェント（Claude CodeやCodexなど）がこれらのコマンドを自律的に使用できるようにするための「スキル」設定が含まれています。

対象ユーザー

• AIエージェント開発者： エージェントがUI操作を通じてユーザーを誘導する方法を提供したい方。
• エンドユーザー： エージェントの誘導により、複雑な設定や権限設定を行う方。
• 開発者/テスター： 視覚的なデモ、ドキュメント作成、またはUI座標のデバッグを行う方。

特徴

• 非侵入型： クリックはターゲットを透過し、キーボードフォーカスは現在のアプリに維持されます。
• 柔軟なターゲティング： UI要素のラベル、グローバル座標、ウィンドウタイトル、または特定のブラウザタブで指定可能です。
• 豊富な視覚効果： さまざまな形状（直線、ジグザグ、スパイラル）、スタイル（矢印、リング、ボックス）、サイズ、カスタムカラーをサポートしています。
• インタラクティブ要素： サイン内のクリップボードへのコピーボタンや、オプションの閉じるボタンが含まれています。
• エージェント対応： LLMエージェント用の専用スキルを提供し、プログラムによるフィードバックのために標準の終了コードを使用します。
• 権限不要の描画： オーバーレイの描画自体にはmacOSの権限は不要ですが、特定の要素を見つけるにはアクセシビリティ権限が必要になる場合があります。