A9T9/RPA

Ui.Vision – 브라우저 및 데스크톱 자동화 (A9T9/RPA)

무엇인가요 – Ui.Vision은 오픈소스 브라우저 확장 프로그램(선택적 데스크톱 구성 요소 포함)으로, 자동화 매크로를 기록하고 작성하며 실행할 수 있습니다. 전통적인 웹 자동화(Selenium 스타일 명령어), 시각 작업을 위한 OCR/이미지 인식, 그리고 대규모 언어 모델 어시스턴트(Claude Code, Cursor 등)가 매크로를 대신 생성하거나 편집할 수 있도록 해주는 Model Context Protocol(MCP) 브리지 기능을 통합합니다.

주요 기능

• 브라우저 자동화 – 폼 채우기, 데이터 스크래핑, 파일 다운로드, 기록된 작업 재실행.
• 시각 자동화 – HTML 선택자가 없을 때 화면 텍스트를 OCR로 읽거나 이미지 매칭을 통해 요소 클릭.
• 데스크톱 자동화 – 선택적 XModules를 통해 네이티브 앱 또는 원격 데스크톱 제어 가능.
• AI 지원 스크립팅 – 내장된 AI 어시스턴트(또는 어떤 MCP 호환 클라이언트든)에게 매크로 생성을 요청할 수 있습니다. 어시스턴트는 uiv.* 자바스크립트 API 참조를 받고, Ui.Vision이 실행할 스크립트를 반환합니다.
• 스크립팅 옵션 – 내장 매크로 레코더 사용, 일반 텍스트 Selenium-IDE 명령어 작성, 또는 uiv.* 자바스크립트 API를 직접 사용(비동기 async/await 없이 동기식).

시작 방법

1. Chrome 웹 스토어, Edge 애드온, 또는 Firefox 애드온에서 확장 프로그램을 설치(일반 사용 시 빌드 필요 없음).
2. Ui.Vision을 열고 간단한 작업을 기록하거나, 데모 매크로를 로드합니다.
3. AI 통합을 위해 npx uivision-mcp-bridge --setup로 MCP 브리지 설치(노드 ≥20 및 npm 필요). Ui.Vision → 설정 → AI에서 브리지 활성화 후 LLM 클라이언트에 연결합니다.
4. 자연어 명령어로 요청(예: "https://example.com 열기, 제목 읽기, 매크로 저장"). 어시스턴트는 uiv.* 호출을 생성하며, 이를 검토·편집·실행할 수 있습니다.

개발자 참고

• 리포지토리는 확장 프로그램(React UI, 명령 엔진)과 MCP 브리지의 소스 코드를 포함합니다.
• npm i -f && npm run build로 로컬 빌드(Chrome/Edge) 또는 npm run build-ff(Firefox). 출력물은 dist/ 또는 dist_ff/에 있으며, 압축 해제된 확장 프로그램으로 로드 가능합니다.
• mcp/ 폴더에는 LLM 클라이언트로부터 온 MCP 메시지를 매크로 작업으로 변환하는 브리지가 포함되어 있습니다.

더 많은 정보 찾기

• API 및 AI 작성 가이드: https://ui.vision/ai/ai-system-prompt
• LLM용 전체 텍스트 API: https://ui.vision/llms-full.txt
• Selenium-IDE 명령어 참조: https://ui.vision/rpa/docs/selenium-ide/
• 커뮤니티 포럼: https://forum.ui.vision

결론 – Ui.Vision은 프로그래밍 경험이 없는 사용자가 웹 및 데스크톱 워크플로우를 자동화할 수 있게 해주며, 현대의 LLM 에이전트가 직접 매크로를 생성하고 실행할 수 있도록 하는 고유한 프로토콜을 공개합니다. 명확한 AI 어시스턴트 통합 경로를 가진 진정한 RPA 도구입니다.