ConTextual: 텍스트가 풍부한 장면에서 멀티모달 추론 벤치마킹

University of California Los Angeles (UCLA)의 연구진은 ConTextual이라는 특화된 데이터셋 및 리더보드를 소개했으며, 이는 대형 멀티모달 모델(LMM)의 컨텍스트에 민감한 텍스트가 풍부한 시각적 추론 능력을 평가하도록 설계되었습니다. 이 벤치마크는 현재 LMM 평가에서 종종 단순한 명령 수행에 초점을 맞추고, 지도 탐색이나 밈 해석과 같이 시각적 맥락 내 텍스트를 이해하기 위한 공동 추론을 간과하는 중요한 격차를 메웁니다.

데이터셋 구성 및 범위

ConTextual은 텍스트가 풍부한 이미지와 짝을 이룬 506개의 도전적인 지시문으로 구성됩니다. 이 데이터셋은 작업이 올바른 답을 도출하기 위해 텍스트와 시각적 단서 모두에 대한 공동 추론을 필요로 하도록 설계되었습니다. 총 여덟 가지 실제 시각 시나리오를 포함합니다:

  • 시간 읽기
  • 쇼핑
  • 내비게이션
  • 추상 장면
  • 모바일 애플리케이션
  • 웹페이지
  • 인포그래픽
  • 기타 자연 장면

데이터셋은 두 가지 형식으로 제공됩니다: 100개의 인스턴스로 구성된 검증 세트(지시문, 이미지, 참고 답변 포함)와 지시문 및 이미지만 포함된 테스트 데이터셋.

실험 결과 및 모델 성능

초기 실험에서는 13개의 모델을 세 가지 카테고리로 평가했습니다: OCR/캡션과 결합된 GPT-4를 사용한 증강 LLM, GPT-4V와 Gemini-Vision-Pro와 같은 폐쇄형 LMM, 그리고 LLaVA-v1.5-13B, ShareGPT4V-7B, Idefics-9B 등을 포함한 오픈소스 LMM.

평가 방법론

평가는 "LLM-as-a-judge" 접근법을 사용합니다. GPT-4를 심사관으로 활용하여 예측된 응답이 인간이 작성한 참고 응답과 비교해 허용 가능한지 판단합니다. 이 방법이 인간 판단과 가장 높은 상관관계를 보였기 때문입니다.

주요 성능 발견

  • 일반적인 어려움: 독점형 및 오픈소스 LMM 모두 인간 성능에 비해 ConTextual 데이터셋에서 어려움을 겪고 있으며, 이는 모델 개선의 큰 기회를 시사합니다.
  • 도메인 격차: GPT-4V를 포함한 독점 모델은 인포그래픽 추론 및 시간 읽기 작업에서 성능이 저조합니다. GPT-4V는 밈과 인용구에 대한 노출 덕분인지 추상 추론에서 인간보다 뛰어나지만, 인간이 뛰어난 시간 관련 작업에서는 실패합니다.
  • 오픈소스 한계: LLaVA-1.5-13B와 ShareGPT-4V-7B와 같은 모델은 추상/자연 장면과 쇼핑, 내비게이션, 모바일 사용과 같은 다른 도메인 사이에 큰 성능 차이를 보이며, 이러한 도메인이 모델에 대해 분포 외임을 시사합니다.
  • 증강 LLM의 실패: 표준 LLM에 OCR이나 이미지 캡션을 추가하면 성능이 저조하여 인간 승인율이 17.2%에 불과합니다. 이는 이러한 작업이 단순 텍스트 변환이 아니라 정밀한 시각 인식과 세밀한 비전-언어 정렬을 필요로 함을 강조합니다.

LMM 개발을 위한 향후 방향

컨텍스트에 민감한 텍스트가 풍부한 시각 추론을 개선하기 위해, 연구진은 세 가지 주요 기술 영역에 집중할 것을 제안합니다:

  1. 향상된 이미지 인코더: 시각적 세부 정보를 더 잘 포착할 수 있는 강력한 인코더 개발.
  2. 정확한 이미지 설명: 시각 요소에 대한 고충실도 설명 생성.
  3. 세밀한 비전-언어 정렬: 시각 토큰과 텍스트 토큰 간 정렬을 개선하여 환각을 줄이고 인식을 향상.

커뮤니티 제출 가이드라인

연구자들은 다음 방법을 통해 ConTextual 리더보드에 모델을 제출할 수 있습니다:

  • 검증 세트: GitHub의 자동 평가 파이프라인을 사용하고, Hugging Face 리더보드 양식을 통해 이미지 URL을 부울 점수(0 또는 1)로 매핑한 JSON 형식의 결과를 제출합니다.
  • 테스트 세트: 모델 예측(이미지 URL을 예측된 응답으로 매핑)을 이메일을 통해 연구팀에 직접 보내 평가받습니다.

Sources