dwzhu-pku/PaperBanana

PaperBanana – AI 기반 학술 일러스트레이션

기능 – PaperBanana는 연구 논문의 텍스트(예: 방법론 단락 및 그림 캡션)를 출판 가능한 수준의 다이어그램이나 그래프로 변환하는 오픈 소스 멀티 에이전트 시스템입니다. 이 시스템은 전문화된 에이전트들을 연결하여 작동합니다:

Retriever(검색기) – 큐레이팅된 데이터셋에서 유사한 참조 그림을 가져와 시스템에 시각적 예시를 제공합니다.
Planner(계획기) – 논문 내용을 바탕으로 원하는 그림에 대한 상세한 텍스트 설명을 작성합니다.
Stylist(스타일 지정기) – 시스템이 자동으로 생성하는 학술적 스타일 가이드라인에 맞춰 설명을 다시 작성합니다.
Visualizer(시각화 도구) – 최신 이미지 생성 모델(예: Gemini, OpenAI, OpenRouter를 통한 Anthropic)을 호출하여 그림을 생성합니다.
Critic(비평가) – 결과물을 평가하고 Visualizer에게 개선을 요청하며, 이 과정을 몇 차례 반복합니다.

그 결과, 검토 및 수정이 가능하고 고해상도로 다운로드할 수 있는 후보 그림 세트가 생성됩니다.

사용 방법

Web UI – Gradio 데모(Hugging Face Spaces에서도 호스팅됨) 또는 Streamlit 데모를 통해 텍스트를 붙여넣고, 모델을 선택하고, 옵션(종횡비, 후보 수, 개선 라운드)을 설정한 뒤 클릭 한 번으로 그림을 생성할 수 있습니다.
CLI – python main.py를 통해 전체 파이프라인을 로컬에서 실행할 수 있습니다. 플래그를 사용하여 데이터셋, 작업 유형(다이어그램 vs 그래프), 검색 모드, 실험 모드를 선택할 수 있습니다.
Configuration(설정) – Gemini 또는 OpenRouter용 API 키는 YAML 파일(configs/model_config.yaml)에 저장됩니다. 시스템은 두 제공자 모두와 호환되며, 둘 다 있을 경우 OpenRouter가 우선시됩니다.

주요 구성 요소

Dataset – Hugging Face의 PaperBananaBench는 검색 및 평가를 위한 참조 다이어그램과 정답 그래프를 제공합니다.
Modular agents – 각 에이전트는 agents/ 내에 있으며 교체하거나 확장할 수 있습니다.
Evaluation tools – visualize/ 하위의 스크립트를 통해 파이프라인의 발전 과정과 벤치마크 대비 메트릭 점수를 확인할 수 있습니다.
Extensibility – 새로운 스타일 가이드를 추가하거나, 다른 이미지 생성 모델을 연결하거나, 수동 예시 선택 기능을 활성화(TODO)할 수 있습니다.

중요성 – 명확하고 정확한 그림을 만드는 것은 연구자들에게 병목 현상입니다. PaperBanana는 대규모 언어 모델이 검색 증강 프롬프트 및 반복적 개선과 결합될 때 이러한 작업의 상당 부분을 자동화하여, 논문 작성 과정을 가속화하고 논문 전반의 시각적 일관성을 향상시킬 수 있음을 보여줍니다.

커뮤니티 – 이 저장소는 Google-Research의 PaperVizAgent를 포크한 것이며 많은 개발자들의 기여를 포함하고 있습니다. 또한 관련 커뮤니티 포크(예: 중국어 강화 버전) 및 자동 그림 생성을 다루는 다른 프로젝트들과도 연결되어 있습니다.

시작하기

# clone and enter repo
git clone https://github.com/dwzhu-pku/PaperBanana.git && cd PaperBanana

# set up env with uv (or pip if you prefer)
uv venv && source .venv/bin/activate
uv python install 3.12
uv pip install -r requirements.txt

# copy config template and add your API key(s)
cp configs/model_config.template.yaml configs/model_config.yaml
# edit configs/model_config.yaml → fill in defaults.main_model_name, defaults.image_gen_model_name, and an api_keys entry

# download the benchmark data
# (place it under data/PaperBananaBench/ as instructed)

# run the web UI locally
python app.py   # Gradio
# or
streamlit run demo.py   # Streamlit

결론 – PaperBanana는 데모 UI, CLI, 평가 프레임워크를 갖추고 학술 그림을 자동으로 생성하기 위한 참조 기반의 멀티 에이전트 파이프라인을 보여주는 실제 AI 연구 코드베이스입니다.