google-deepmind/android_env

解決する課題

AndroidEnv は、Android デバイス（またはエミュレータ）を強化学習（RL）環境に変換する標準化された方法を提供します。研究者は、Android OS およびインストールされた任意のアプリケーションをナビゲートするエージェントを訓練でき、視覚的およびタッチ入力のみを使用して現実世界のデジタル環境で動作するエージェントの研究が可能になります。

動作方法

このライブラリは、シミュレートされたAndroidデバイスをラップし、RL環境として公開します。エージェントは、人間のタッチスクリーン操作を模倣するユニバーサルなアクションインターフェースを通じてデバイスと対話します：局所的なタッチおよびリフトイベントを送信します。環境は、スクリーンのRGBピクセル観測値と、カスタムタスク定義に基づく報酬（例：メールを正常に送信した場合やゲームでスコアを達成した場合の報酬）を返します。

対象ユーザー

強化学習に焦点を当てたAI研究者、特に複雑でリアルタイムのユーザーインターフェースと対話し、多様なAndroidアプリケーションでタスクを学習できるエージェントに興味がある研究者向けに設計されています。

特徴

• 現実世界の文脈: 変更のないAndroid OSを使用しており、数十億人が使用しているシステム上でエージェントが学習します。
• ハイブリッドアクション空間: 位置の連続座標とタッチ/リフトイベントの離散信号を組み合わせ、スワイプやピンチイン/ピンチアウトなどの複雑なジェスチャーを可能にします。
• ピクセルベースの観測: エージェントはスクリーンのRGB値を受け取り、ダウンサンプリングのオプションも提供します。
• リアルタイムシミュレーション: 環境のダイナミクスはリアルタイムで実行され、エージェントの意思決定を待つことはありません。
• 柔軟なタスク定義: ゲームや生産性ツールを含む、任意のAndroidアプリケーション向けにカスタムタスクの作成をサポートします。