milind-soni/tiptour-macos

解決する課題

TipTourは、AIを通じてデスクトップを操作できるmacOSメニューバーアプリです。Geminiとのリアルタイム音声会話、またはローカルエージェント（JEV）へのクリックベースのタスク入力により、クリック、タイピング、スクロールといったデスクトップ操作を実行できます。

仕組み

TipTourは、共有のローカルグラウンディングおよびアクションエンジンを使用して、2つの異なるモードで動作します。

• Gemini Realtime Mode: 音声とスクリーンショットを使用して、画面について対話し、デスクトップ操作をリクエストできます。クリック、タイピング、ショートカット、アプリ/URLの起動、Apple Notesの作成など、幅広いアクションをサポートしています。
• JEV Text Mode: ユーザーがタスクを入力するテキストベースのモードです。JEVは、ローカルで検出された画面ラベルと位置からコントロールを特定し、クリックベースのアクションシーケンス（1タスクあたり最大12アクション）を実行および検証します。

対象ユーザー

独自のAPIキーを使用して、AI駆動のデスクトップ自動化と制御を行いたいmacOSユーザー（バージョン14.2以降）。

ハイライト

• デュアルモード対話: 音声駆動のマルチモーダル対話（Gemini）とテキスト駆動のクリック自動化（JEV）を切り替え可能。
• ローカル検出: JEVは画面ラベルと位置をローカルで処理し、プライバシーを保護します。
• プライバシー重視: APIキーはmacOS Keychainに保存され、ホストされたキープロキシは使用しません。
• コンテキストフォーカス: ユーザーは画面上の領域を手動で指定することで、Geminiに特定のフォーカスコンテキストを提供できます。