EvoVLM – 멀티모달 추론 프로그램 진화

이것이 무엇인가

EvoVLM은 동결된 비전-언어 모델(Qwen‑3‑VL‑2B 계열)의 추론 동작을 개선하는 방법을 탐구하는 연구급 코드베이스입니다. 모델 가중치를 미세 조정하는 대신, 대규모 언어 모델(LLM)이 Python 추론 프로그램에 작고 유형화된 변형을 제안하도록 합니다. 프롬프트, 이미지 전처리 단계, 생성 예산 또는 답변 추출 로직을 변경합니다. 진화적 루프(변형 → 평가 → Pareto 선택)는 과학 차트 이해 벤치마크에서 정확도와 지연 시간 사이의 최상의 절충을 유지합니다.

왜 중요한가

• 가중치 없는 최적화 – 모델이 동결된 상태로 유지되므로, 이 접근 방식은 값비싼 재훈련 없이 모든 독점 또는 대규모 VLM에 적용할 수 있습니다.
• 다중 목표 탐색 – 정확성과 속도를 명시적으로 균형을 맞추며, 이는 실시간 또는 엣지 배포의 실용적인 관심사입니다.
• 재현 가능한 연구 – 저장소에는 정확한 탐색 추적, 평가 증거, 모델 파일 없이 결과를 검증하는 작은 "재생" 모드가 포함되어 있습니다.

핵심 구성 요소(저장소에서)

구성 요소	역할
evolution/	유형화된 변형 정의, 로컬 LLM 기반 변형 엔진, 진화적 탐색 로직.
evaluation/	작은 검증 세트에서 후보 프로그램을 실행하고 정확도, 지연 시간, 오류, 출처를 기록하는 스크립트.
best_*.py	최상의 정확도-지연 시간 Pareto 지점을 달성한 최종 선택된 추론 프로그램.
reproduce.sh & evaluation/portable_reproduce.py	모델 가중치를 다운로드하지 않고 게시된 숫자가 재현 가능한지 확인하기 위해 기록된 증거를 다시 실행하는 CPU 전용 "재생" 명령.
report.pdf & generated/report_number_trace.json	기술 보고서와 논문에서 사용된 모든 지표의 기계 판독 가능한 추적.
data/ & charxiv/	탐색 및 검증에 사용되는 CharXiv 차트 데이터셋의 작은 하위 집합.

시작하는 방법

1. 저장소를 클론하고 research/evolving-vlm-inference-main으로 cd합니다.
2. CPU 전용 검증을 실행합니다(모델 다운로드 불필요):

   python3 -B -m evaluation.portable_reproduce
   bash reproduce.sh check   # 기록된 증거 검사 실행
   bash reproduce.sh smoke   # 내보낸 프로그램을 가져와 API 검증
   

3. GPU와 Qwen‑3‑VL‑2B 가중치가 있는 경우, 같은 폴더의 README.md에 따라 고정된 requirements.lock.txt를 설치하고, 모델 스냅샷을 다운로드하고, 자체 데이터에서 추론 프로그램을 실행합니다.

논문이 보고하는 내용

프로그램	정답 / 128	정확도	중앙값 지연 시간(초)
기준 Instruct	51	39.84%	14.54
수동 Instruct(인간 제작)	78	60.94%	15.44
진화 Instruct(EvoVLM에서)	78	60.94%	14.07
수동 Thinking	23	17.97%	20.04
진화 Thinking	44	34.38%	17.91

진화된 프로그램은 수동 시드의 정확도를 유지(또는 개선)하면서 중앙값 지연 시간을 8–10% 단축합니다.

제한 사항 및 범위

• 진화적 탐색은 매우 작았습니다. 단 두 세대, 각 집단당 최대 6개의 자식입니다.
• 결과는 CharXiv 차트 벤치마크의 Dev128 검증 분할에 기반합니다. 전체 리더보드 점수가 아닙니다.
• 지연 시간 수치는 원래 실행에서 사용된 특정 하드웨어/소프트웨어 환경에 따라 달라집니다.
• 모델 가중치는 외부에 있으며, 저장소에는 코드와 기록된 증거만 포함됩니다.

---

TL;DR: EvoVLM은 LLM이 동결된 비전-언어 모델의 추론 스크립트를 "조정"하고, 작은 진화적 탐색을 실행하여 차트 이해 작업에서 정확도를 잃지 않고 약간 더 빠른 프로그램을 얻을 수 있다는 개념 증명을 보여줍니다.