A9T9/RPA

Ui.Vision – ブラウザおよびデスクトップ自動化 (A9T9/RPA)

何であるか – Ui.Vision はオープンソースのブラウザ拡張機能（オプションのデスクトップコンポーネント付き）で、自動化マクロの記録、作成、実行が可能です。従来のウェブ自動化（Seleniumスタイルのコマンド）、視覚タスク用のOCR/画像認識、および Model Context Protocol（MCP）ブリッジを統合しており、大規模言語モデルアシスタント（例：Claude Code、Cursor）がマクロを生成・編集・実行できるようにします。

主な機能

• ブラウザ自動化 – フォーム入力、データスクレイピング、ファイルダウンロード、記録されたアクションの再実行。
• 視覚自動化 – 画面内のテキストをOCRで読み取り、HTMLセレクタが存在しない場合に画像一致で要素をクリック。
• デスクトップ自動化 – オプションの XModules を使ってネイティブアプリやリモートデスクトップを制御。
• AI支援スクリプティング – 組み込みのAIアシスタント（または任意のMCP互換クライアント）にマクロの生成を依頼可能。アシスタントは uiv.* JavaScript APIのリファレンスを受け取り、Ui.Visionが実行するスクリプトを返す。
• スクリプティングオプション – 組み込みマクロレコーダー、プレーンテキストのSelenium-IDEコマンド、または uiv.* JavaScript API（同期、async/await不要）による直接プログラミング。

始める方法

1. Chrome Web Store、Edge Add-ons、または Firefox Add-ons から拡張機能をインストール（通常の使用ではビルド不要）。
2. Ui.Visionを開き、簡単なタスクを記録するか、デモマクロをロードする。
3. AI統合のため、npx uivision-mcp-bridge --setup でMCPブリッジをインストール（Node ≥20 および npm 必須）。Ui.Vision → 設定 → AI でブリッジを有効化し、LLMクライアントに接続する。
4. 自然言語で命令を入力（例：「https://example.comを開き、見出しを読み取り、マクロを保存」）。アシスタントは uiv.* 呼び出しを生成し、レビュー・編集・実行が可能。

開発者ノート

• リポジトリには拡張機能のソース（React UI、コマンドエンジン）とMCPブリッジが含まれます。
• npm i -f && npm run build でローカルビルド（Chrome/Edge）または npm run build-ff（Firefox）。出力は dist/ または dist_ff/ にあり、アンパックされた拡張機能として読み込める。
• mcp/ フォルダには、LLMクライアントからのMCPメッセージをマクロアクションに変換するブリッジが格納されています。

さらに情報を探す場所

• API & AI作成ガイド： https://ui.vision/ai/ai-system-prompt
• LLM用の完全なプレーンテキストAPI： https://ui.vision/llms-full.txt
• Selenium-IDEコマンドリファレンス： https://ui.vision/rpa/docs/selenium-ide/
• コミュニティフォーラム： https://forum.ui.vision

結論 – Ui.Visionはプログラミング経験のないユーザーがウェブおよびデスクトップワークフローを自動化できるツールであり、現代のLLMエージェントがマクロを生成・実行できるプロトコルを明確に公開しています。本格的なRPAツールであり、AIアシスタントとの統合が明確に設計されています。