llmsresearch/paperbanana

PaperBanana – AI 기반 다이어그램 및 플롯 생성

무엇인가요 – PaperBanana는 연구자가 메서드 설명 텍스트(또는 CSV/JSON 형식의 결과 데이터)를 출판용 그림으로 자동 변환할 수 있는 오픈소스 Python 패키지입니다. 이는 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)을 다중 에이전트 파이프라인으로 조율하여 출력을 반복적으로 개선하고, 검토자가 만족할 때까지 반복하는 방식으로 작동합니다.

주요 기능

• 메서드 다이어그램 – method.txt(또는 PDF 페이지)와 캡션을 입력하면, 시스템은 시각적 레이아웃을 계획하고 이미지를 렌더링하며, 루프로 평가를 수행합니다(기본 3라운드, 선택적 자동 재설계).
• 통계 플롯 – 데이터 파일과 의도 문자열을 제공하면, VLM이 matplotlib 코드를 작성하고 실행하여 플롯을 생성합니다(이미지 생성 모델이 필요 없음).
• 배치 및 스위프 지원 – 하나의 YAML/JSON 매니페스트로 수십 개의 다이어그램 또는 플롯 생성이 가능하며, 복합 그림의 자동 연결도 선택적으로 지원합니다.
• 학회 스타일 팩 – 내장된 NeurIPS, ICML, ACL, IEEE 템플릿; 사용자는 사용자 정의 스타일 팩을 추가하여 폰트, 종횡비, 기타 포맷 규칙을 강제할 수 있습니다.
• 다중 제공자 지원 – OpenAI(GPT-5.2, GPT-Image-1.5), Azure/OpenAI, Google Gemini, Atlas Cloud 등 다양한 텍스트 및 이미지 생성 제공자를 지원합니다. CLI 플래그를 통해 제공자 및 모델을 재정의할 수 있습니다.
• CLI, Python API, Gradio UI – paperbanana generate, paperbanana plot, paperbanana batch 등; 또한 인터랙티브 실행을 위한 로컬 웹 UI(paperbanana studio)도 제공됩니다.

작동 방식

1. 입력 최적화(옵션) – 병렬 VLM 호출로 원시 메서드 텍스트를 재구성하고 캡션을 명확히 합니다.
2. 계획 단계 – 리트리버가 관련 예시 다이어그램을 선택하고, 플래너가 상세한 시각적 설명을 작성하며, 스타일리스트가 타겟 학회에 맞게 다듬습니다.
3. 반복적 개선 – 비주얼라이저가 설명에서 이미지를 생성하고, 크리틱이 원본과 비교하여 개선된 설명을 반환합니다. 단계 4~5를 반복합니다.

설치 및 빠른 시작

pip install paperbanana          # 핵심 패키지
pip install 'paperbanana[studio]'  # 선택적 Gradio UI
paperbanana generate \
  --input examples/sample_inputs/transformer_method.txt \
  --caption "Overview of our encoder-decoder architecture"

ゼ로설정 실험을 위한 Colab 노트북과 Docker 이미지도 제공됩니다.

일반적인 사용 사례

1. 알고리즘을 설명하는 짧은 "method" 텍스트를 작성합니다.
2. 논문에서 사용할 그림 캡션과 일치하는 캡션으로 paperbanana generate를 실행합니다.
3. 중간 이미지를 확인하고, 필요 시 피드백(--feedback)을 제공하거나 자동 재설계 루프를 완료합니다.
4. outputs/run_<timestamp>/ 폴더에서 최종 PNG(또는 JPEG/WebP)를 가져와 원고에 삽입합니다.

누가 도움을 받을 수 있나요 – AI 연구자, ML 엔지니어, 그리고 수작업으로 도면 도구를 사용하지 않고도 일관성 있고 학회 스타일에 맞는 그림을 생성해야 하는 모든 사람.

---

빠른 참조 (CLI)

명령어	목적
paperbanana generate	텍스트/PDF에서 메서드 다이어그램 생성.
paperbanana plot	CSV/JSON에서 통계 플롯 생성.
paperbanana batch / plot-batch	매니페스트에서 여러 다이어그램 또는 플롯 실행.
paperbanana venues	학회 스타일 팩 목록, 초기화, 관리.
paperbanana studio	로컬 Gradio UI 시작.
paperbanana sweep	제공자/모델 등에 대한 하이퍼파라미터 스위프.

---

링크

• PyPI: https://pypi.org/project/paperbanana/
• 데모 (HuggingFace Space): https://huggingface.co/spaces/llmsresearch/paperbanana
• Colab 빠른 시작 노트북: https://colab.research.google.com/github/llmsresearch/paperbanana/blob/main/notebooks/PaperBanana_Colab_Quickstart.ipynb
• 논문 (arXiv 2601.23265): https://arxiv.org/abs/2601.23265

---

라이선스 – MIT (see LICENSE)