VILA-Lab/FigMirror

해결하는 문제

FigMirror는 특정 학술 논문의 시각 스타일에 맞추기 위해 플로팅 코드를 수동으로 수정하는 번거로운 과정을 제거합니다. 사용자는 참조 그림과 자신의 데이터를 제공함으로써, 완성도 높은 카메라 레디 PDF와 목표 스타일을 반영한 편집 가능한 matplotlib 스크립트를 자동으로 생성할 수 있습니다.

작동 방식

이 시스템은 Drawer(그리기 전문가)와 Reviewer(검토 전문가)로 구성된 에이전트 루프를 사용합니다.

1. Drawer 에이전트: "Grounded Measurement"를 활용하여 후보 그림을 렌더링합니다. 이는 기초 모델을 사용해 시각적 타겟의 x/y 좌표를 반환하고, 이를 실행 가능한 체크(예: 픽셀 색상 확인)로 변환합니다.
2. Reviewer 에이전트: 후보 그림을 참조 이미지와 비교하여 시각적 감사를 수행합니다. 경계 상자, 수정 체크리스트, 스타일 유지 목록을 포함한 구조화된 피드백을 제공하여 반복 과정에서 스타일이 흐려지는 것을 방지합니다.
3. 오케스트레이터: 에이전트 간의 작업 위임을 관리하고, 리뷰어의 피드백을 주석이 달린 이미지와 메모로 변환하여 다음 그리기 단계에 제공합니다.

3D 그림의 경우, 카메라 각도, 조명, 스케일을 처리하기 위해 기하학적 인식 프롬프트를 사용합니다. 에이전트 간에 합의가 되지 않거나 신뢰도가 낮을 경우를 대비해 Aesthetic Lib이 보조 스타일 규칙을 제공합니다.

대상 사용자

특정 스타일 가이드라인을 따르거나 특정 논문 패밀리의 시각적 정체성을 반영해야 하는 연구자 및 데이터 과학자.

주요 특징

• 에이전트 반복 처리: 지속적인 시각적 최적화를 위한 역할 분리된 Drawer/Reviewer 루프.
• Grounded Measurement: 좌표 기반 시각 타겟과 코드 기반 픽셀 체크를 통한 정밀성.
• 편집 가능한 출력: 단순한 정적 이미지가 아니라 완전한 matplotlib 스크립트를 생성.
• 다중 인터페이스 지원: 로컬 웹 UI 또는 Claude Code, Codex의 스킬로 사용 가능.
• 3D 지원: 3D 구성과 기하학에 특화된 프롬프트 포함.