shhivv/third-hand

解決する課題

Third Handは、チャットインターフェースを通じてさまざまなアプリケーションを操作できるmacOS向けアシスタントです。メニューやボタンを手動で操作する必要がなくなり、自然言語のコマンドを直接的なアプリ操作（Spotifyで音楽を再生する、アプリ内の特定コンテンツを検索するなど）に変換します。

仕組み

このシステムは、macOS環境とやり取りするために複数のツールを組み合わせて使用します。

• arc-cua: macOS Accessibility APIsを介してバックグラウンドでアプリを読み取り・操作するドライバーで、非表示または最小化されたウィンドウともやり取りできます。
• Apple Vision: アプリのコントロールにアクセスできない場合に対処するため、画面上のテキストをローカルで認識します。
• ChatGPT: プランナーとして機能し、リクエストとアプリの現在の状態に基づいて、単純なステップ（クリック、入力、スクロール）のシーケンスを生成します。
• Jev: コントロールラベルがプランナーの提案と正確に一致しない場合に、曖昧さを解決するために使用される特殊なツールです。
• 実行: アプリはこれらのステップを1つずつ実行し、各アクションの結果を確認してから次に進みます。

対象ユーザー

Apple Silicon搭載Mac（macOS 14以降）のユーザーで、自然言語を使用してさまざまなmacOSアプリケーションにわたるタスクを自動化するAI駆動のアシスタントを求める方。

主な特長

• バックグラウンド実行: タスクをバックグラウンドで実行（Shift+Enter）でき、ポインターや前面のアプリを妨げません。
• @メンション: チャットスレッドで特定のアプリをタグ付けしてコマンドを送信でき、アプリが開いていない場合は自動的に起動します。
• スレッド型会話: スレッド内で履歴を保持し、「次に2番目を再生して」などのフォローアップコマンドを可能にします。
• Control-Spaceショートカット: 現在アクティブなアプリをタグ付けした新しいスレッドをすばやく開きます。
• ローカル処理: 画面のテキスト認識はApple Visionを介してローカルで処理され、スクリーンショットがアップロードされないことを保証します。