Granite 4.0 3B Vision 릴리스 노트 / 새로운 기능

Granite 4.0 3B Vision 릴리스 노트 / 새로운 기능

TL;DR

IBM은 Granite 4.0 3B Vision을 출시했으며, 이는 엔터프라이즈 문서 이해를 위해 특별히 설계된 소형 비전-언어 모델(VLM)입니다. 복잡한 문서와 양식에서 테이블, 차트, 의미론적 키-값 쌍(KVP)을 고정밀로 추출하며, Granite 4.0 Micro 언어 모델 위에 모듈형 LoRA 어댑터로 동작합니다.

엔터프라이즈 문서를 위한 주요 기능

Granite 4.0 3B Vision는 구조화된 시각 자료와 복잡한 레이아웃에서 신뢰할 수 있는 정보 추출을 위해 특별히 구축되었습니다. 주요 기능은 다음과 같습니다:

  • Table Extraction: 문서 이미지에서 다중 행 및 다중 열 형식을 포함한 복잡한 테이블 구조를 파싱합니다.
  • Chart Understanding: 차트와 도표를 실행 가능한 코드, 요약, 또는 구조화된 기계 판독 형식으로 변환합니다.
  • Semantic Key-Value Pair (KVP) Extraction: 다양한 문서 레이아웃에서 의미론적으로 의미 있는 필드 쌍을 식별하고 정착시킵니다.
  • General Vision-Language Tasks: 이미지에 대한 상세한 자연어 설명을 생성합니다.

기술 아키텍처 및 학습

모델의 성능은 세 가지 주요 기술 투자에 의해 좌우됩니다: 특화된 데이터셋, 수정된 특징 주입 아키텍처, 그리고 모듈형 배포 전략.

ChartNet: 코드 기반 데이터 증강

차트의 공간 정밀도와 수치 추론을 향상시키기 위해 IBM은 ChartNet을 개발했으며, 이는 백만 규모의 멀티모달 데이터셋입니다.

ChartNet은 코드 기반 합성 파이프라인을 활용하여 24가지 차트 유형과 6가지 플로팅 라이브러리를 아우르는 170만 개의 다양한 차트 샘플을 생성합니다. 각 샘플은 플로팅 코드, 렌더링된 이미지, 데이터 테이블, 자연어 요약, 그리고 QA 쌍의 다섯 개 정렬된 구성 요소를 포함합니다. 이 접근 방식은 모델이 시각적 표현과 기본 구조화된 데이터 간의 관계를 학습하도록 합니다.

DeepStack: 다층 시각 특징 주입

표준 VLM이 시각 정보를 한 지점에 주입하는 것과 달리, Granite 4.0 3B Vision는 DeepStack architecture의 변형을 사용합니다. 이 방법은 추상적인 시각 특징을 초기 레이어로 라우팅하여 의미론적 이해를 돕고, 고해상도 공간 특징을 후속 레이어에 전달합니다. 이 이중 스트림 접근 방식은 레이아웃이 중요한 경우 정확한 테이블 및 KVP 파싱에 필요한 세밀한 디테일을 모델이 유지하도록 보장합니다.

모듈형 LoRA 설계

Granite 4.0 3B Vision는 Granite 4.0 Micro 밀집 언어 모델 위에 LoRA adapter로 구현되었습니다. 이 모듈성은 하나의 배포로 멀티모달 및 텍스트 전용 워크로드를 모두 처리할 수 있게 하며, 비전 기능이 필요하지 않을 경우 자동으로 기본 언어 모델로 전환됩니다.

성능 벤치마크

Granite 4.0 3B Vision는 여러 주요 벤치마크에서 훨씬 큰 모델에 비해 경쟁력 있는 성능을 보여줍니다:

차트 추론

ChartNet 벤치마크에서 LLM-as-a-judge를 통해 평가됨:

  • Chart2Summary: 평가된 모든 모델 중 가장 높은 점수(86.4%)를 기록했습니다.
  • Chart2CSV: 62.1점으로 2위를 차지했으며, Qwen3.5-9B 모델(63.4%)에 이어 두 번째였습니다.

테이블 추출

구조 및 내용 정확성을 모두 평가하는 TEDS를 사용하여 세 가지 벤치마크에서 측정되었습니다:

  • PubTables-v2: 크롭된 설정(92.1)과 전체 페이지 설정(79.3) 모두에서 최고의 성능을 보였습니다.
  • OmniDocBench-tables: 64.0점으로 선두 점수를 기록했습니다.
  • TableVQA-extract: 88.1점으로 선두 점수를 기록했습니다.

의미론적 KVP 추출

VAREX 벤치마크(복잡도가 다양한 1,777개의 미국 정부 양식)에서 모델은 제로샷 설정에서 85.5% 정확히 일치(Exact Match, EM) 정확도를 달성했습니다.

배포 및 통합

Granite 4.0 3B Vision는 Apache 2.0 라이선스로 출시되었으며, 두 가지 주요 방법으로 워크플로에 통합될 수 있습니다:

독립형 추출

모델은 개별 이미지에서 직접 실행되어 목표 시각 추출을 수행할 수 있으며, 폼 파서나 차트 분석기와 같은 경량 도구에 적합합니다.

Docling과 통합 파이프라인

Docling과 결합하면 모델을 다중 페이지 PDF의 엔드투엔드 문서 이해에 사용할 수 있습니다. 이 파이프라인에서 Docling은 OCR 및 레이아웃 파싱을 수행하여 시각 요소를 감지하고 잘라낸 뒤, 이를 Granite 4.0 3B Vision에 전달하여 세밀한 추출을 수행합니다(예: 테이블을 HTML로 변환하거나 차트를 CSV로 변환).

Sources