omdsh-dev/dsh-browser

해결하는 문제

이 프로젝트는 DeepSeek Harness (dsh) 에이전트 프레임워크와 사용자의 활성 웹 브라우저 간의 브리지를 제공합니다. 이를 통해 AI 에이전트는 사람이 하는 것처럼 웹과 상호작용(페이지 콘텐츠 읽기, 버튼 클릭, 양식 작성, 탭 관리 등)할 수 있으며, Playwright와 같은 헤드리스 브라우저 자동화 도구를 사용할 필요 없이 사용자의 기존 로그인 세션, 쿠키 및 인증 상태를 유지할 수 있습니다.

작동 방식

이 시스템은 dsh 런타임용 브리지 플러그인과 브라우저 확장 프로그램(Chrome/Firefox)으로 구성됩니다. 에이전트는 텍스트 전용 인터페이스를 통해 브라우저와 상호작용합니다. 확장 프로그램은 웹 페이지를 상호작용 가능한 요소에 번호를 매긴 구조화된 텍스트 스냅샷으로 변환합니다. 모델은 복잡한 선택자나 스크린샷을 사용하는 대신, 할당된 번호를 통해 이러한 요소를 식별하고 조작합니다.

대상 사용자

AI 에이전트에게 실시간으로 실제 브라우저를 조작할 수 있는 능력을 부여하고자 하는 DeepSeek Harness 개발자 및 사용자, 특히 활성 사용자 세션을 유지하고 헤드리스 환경의 시스템 오버헤드를 피해야 하는 분들에게 적합합니다.

주요 특징

• 세션 유지: 사용자의 실제 브라우저 탭 내에서 작동하며 모든 로그인 정보와 쿠키를 유지합니다.
• 텍스트 우선 인터페이스: 페이지 요소의 번호가 매겨진 인벤토리를 사용하여 탐색 및 상호작용하므로 시각적 처리의 필요성이 줄어듭니다.
• 개인정보 보호 중심: 비밀번호 및 결제 카드 정보를 자동으로 마스킹하여 민감한 데이터가 페이지 외부로 유출되지 않도록 합니다.
• 통합 UI: 대화를 위한 사이드 패널과 페이지의 텍스트를 강조 표시하여 에이전트에게 직접 보낼 수 있는 인용 기능을 포함합니다.
• 고성능: 벤치마크 결과, 기존의 Playwright 기반 자동화보다 지연 시간이 짧고 도구 호출 횟수가 적은 것으로 나타났습니다.