callstack/agent-device

解決する課題

agent-device は AI コーディングエージェントにフィードバックループを提供し、実行中のアプリケーションでコードの変更を検証できるようにします。スクリーンショットに頼る必要をなくし、複数のプラットフォームでアプリの検査、制御、デバッグに必要な構造化データを提供します。

動作方法

このツールは CLI、MCP サーバー、または Node.js API として動作します。iOS シミュレータにはローカルのアクセシビリティブリッジを使用し、物理的な iOS/tvOS には XCTest、Android には ADB、その他のプラットフォーム固有のヘルパー（HarmonyOS 用の HDC、Vega OS 用の Vega CLI、Linux 用の AT-SPI）を利用します。

エージェントは、効率的なアクセシビリティスナップショットと要素への参照（refs）を使ってアプリとやり取りします。システムはデバイス所有権を管理し、同じシミュレータやエミュレータ上で並行して動作するエージェント同士の競合を防ぎます。また、BrowserStack や AWS Device Farm などのリモートデバイスクラウドにも接続可能です。

対象ユーザー

Claude Code、Cursor、Windsurf、Cline などの AI コーディングエージェント、または AI SDK や Eve を使って独自のエージェントを開発する開発者で、モバイル、TV、デスクトップアプリの自動検証が必要な方々に最適です。

主な特徴

• マルチプラットフォーム対応：iOS、Android、HarmonyOS、tvOS、Android TV、Amazon Vega OS、Web、macOS、Linux で動作します。
• MCP サーバー：互換性のある AI エージェントとの統合を容易にする、組み込みの Model Context Protocol (MCP) サーバー。
• 証拠の収集：スクリーンショット、動画、ログ、トレース、パフォーマンスサンプルなどを証拠として収集可能。
• CI/CD 統合：ワークフローを .ad スクリプトとして保存し、CI 環境で自動再実行可能。
• デバイスの調整：並列エージェントのワークツリー間でデバイスアクセスを調整し、競合を防止。