Anionex/agent-vision-toolkit

해결하는 문제

agent-vision-toolkit은 텍스트 전용 LLM 에이전트(DeepSeek 등에서 실행되는 에이전트)에 시각적 기능을 부여하는 방법을 제공합니다. 이를 통해 기본 모델이 네이티브 멀티모달이 아니더라도 이미지 Q&A, 긴 스크린샷 OCR, UI 복원 및 GUI 자동화를 수행할 수 있습니다.

작동 원리

이 툴킷은 모델이 아닌 '하네스(harness)' 측에 시각적 기능을 구현합니다. 다음 요소들을 결합하여 사용합니다:

• 시각 도구 CLI: 에이전트가 셸을 통해 호출하여 이미지를 분석하고, 객체를 찾고, 그래픽을 추출할 수 있는 명령줄 도구 세트(glance, ground, detect, trace, crop).
• 의도 인식 설명: 일반적인 이미지 설명 대신, 대화에서 에이전트의 현재 의도를 추출하여 멀티모달 API에 포커스 힌트로 전달함으로써 작업과 관련된 설명을 생성합니다.
• 원활한 통합: 특정 에이전트(Codex, Claude Code, Pi, OpenCode 등)를 위한 선택적 로컬 프록시 또는 네이티브 플러그인을 통해, 붙여넣은 이미지와 내장 이미지 도구가 투명하게 작동하도록 합니다.
• 에이전트 스킬: 복잡한 시각적 작업을 해결하기 위해 이러한 도구를 순서대로 사용하는 방법을 에이전트에게 가르치는 vision-skills 패키지.

대상 사용자

스케치에서 UI를 재구성하거나 네이티브 시각 지원이 없는 모델을 사용하여 자율적인 GUI 작업을 수행하는 등, 텍스트 전용 코딩 에이전트에 멀티모달 기능을 추가하려는 개발자 및 사용자.

주요 특징

• 작업 중심의 시각 기능: 광범위하고 초점이 없는 설명 대신 모델의 실제 의도에 따라 세부 정보를 캡처합니다.
• 붙여넣은 이미지와 내장 도구 모두 지원: 프록시 계층을 통해 직접 이미지 붙여넣기와 에이전트 자체의 내부 이미지 도구를 모두 지원합니다.
• 실전 검증된 워크플로우: 긴 스크린샷 OCR, 스케치 기반 UI 복원, GUI 자동화를 위한 플레이북이 포함되어 있습니다.
• 한 줄 설치: 에이전트 자체가 간단한 프롬프트를 통해 직접 설치할 수 있도록 설계되었습니다.
• 로컬 SVG 트레이싱: LLM의 개입 없이 그래픽에서 기하학적 궤적을 결정론적으로 복구하여 편집 가능한 SVG를 생성합니다.