mediar-ai/mcp-server-macos-use

解決する課題

このプロジェクトは、AIモデルがmacOSアプリケーションと直接対話する方法を提供します。AIがUI構造を認識し、クリック、タイピング、アプリの起動といった操作を実行できるようにすることで、大規模言語モデル (LLM) とオペレーティングシステムのユーザーインターフェースの間のギャップを埋めます。

仕組み

Swiftで記述されたModel Context Protocol (MCP) サーバーとして実装されています。MacosUseSDK とmacOSのアクセシビリティAPIを使用して、アプリケーションのアクセシビリティツリーを走査（AIに画面上の要素を伝達）し、ユーザー入力をシミュレートします。Claude DesktopなどのMCP互換クライアントとは、標準入出力 (stdio) を介して通信します。

対象ユーザー

AIエージェントにMacを制御する能力を与え、さまざまなデスクトップアプリケーション間でのタスク自動化を実現したい開発者やAI愛好家。

主な特徴

• UI走査: アプリケーションのアクセシビリティツリーをスキャンし、インターフェースの現在の状態を把握できます。
• アプリケーション制御: アプリケーションの起動、特定の座標のクリック、テキスト入力、修飾キーを伴うキーボード入力が可能です。
• 状態の更新: アクションを実行せずにUI走査を更新し、AIのコンテキストを最新に保つツールが含まれています。
• カスタマイズ可能なアクション: アニメーション、遅延、表示されている要素のみを対象とするかどうかの制御など、オプションのパラメータを提供します。