HITsz-TMG/KnowAct

何を解決するか

KnowAct-GUIClaw は、デスクトップ（macOS、Linux、Windows）、Android、iOS、HarmonyOS を含む複数のプラットフォームでタスクを自動化する個人用GUIアシスタントです。長期的なGUI自動化の課題に対処するために、エージェントが記憶とスキル習得を通じて能力を学び、進化できるフレームワークを提供します。

動作方法

このシステムは「知る–経路を決定する–行動する–振り返る」のループに基づいて動作します。マルチモーダルモデルを使用して画面を認識し、アクションを実行します。フレームワークには自己進化メカニズムが含まれており、Androidのショートカットを推論・検証し、成功した経路から再利用可能なスキルを抽出し、GUIメモリバンクと権限ポリシーを維持して将来の行動をガイドします。

対象ユーザー

GUIエージェントを開発・研究している開発者や研究者向けです。さまざまな視覚言語モデルと統合できるクロスプラットフォーム自動化ツールが必要な方におすすめで、nanobotを介した完全なエージェントホストまたはスタンドアロンCLIの両方をサポートしています。

特徴

• クロスプラットフォーム対応: Android、iOS、HarmonyOS、主要なデスクトップOSで動作します。
• 自己進化機能: ショートカットを自動で発見・検証し、共有スキルファイルに昇格できます。
• 高いパフォーマンス: オープンソースモデルを使用してMobileWorldベンチマークで最先端の結果を達成しています。
• 柔軟なデプロイメント: WebUI付きの完全なエージェントホストまたは軽量なスタンドアロンCLIツールとして利用可能。
• カスタマイズ可能なプロファイル: Qwen、Seed、Venusなど、さまざまなモデルファミリーのアクション形式に対応する事前設定済みエージェントプロファイルを提供。