dwzhu-pku/PaperBanana

PaperBanana – AI 驱动的学术插图

功能 – PaperBanana 是一个开源的多智能体系统，可将研究论文的文本（例如方法段落和图注）转换为可发布的图表或绘图。它通过串联专门的智能体来实现：

1. 检索器 – 从精选数据集中提取相似的参考图，为系统提供视觉示例。
2. 规划器 – 根据论文内容编写所需图形的详细文本描述。
3. 样式器 – 重写描述以遵循系统自动生成的学术风格指南。
4. 可视化器 – 调用最先进的图像生成模型（例如通过 OpenRouter 使用 Gemini、OpenAI、Anthropic）来创建图片。
5. 批评者 – 评估输出，要求可视化器改进，并重复几轮。

结果是候选图形集，可检查、优化并以高分辨率下载。

使用方法

• 网页界面 – Gradio 演示（也托管在 Hugging Face Spaces 上）或 Streamlit 演示，可粘贴文本、选择模型、设置选项（宽高比、候选数量、优化轮数）并一键生成图形。
• CLI – python main.py 在本地运行完整流程；标志可让你选择数据集、任务类型（图表 vs. 绘图）、检索模式和实验模式。
• 配置 – Gemini 或 OpenRouter 的 API 密钥存储在 YAML 文件（configs/model_config.yaml）中。系统可与任一提供商配合使用；当两者都存在时，优先使用 OpenRouter。

关键组件

• 数据集 – Hugging Face 上的 PaperBananaBench 提供参考图和真实绘图，用于检索和评估。
• 模块化智能体 – 每个智能体位于 agents/ 中，可替换或扩展。
• 评估工具 – visualize/ 下的脚本可查看流程演进和基准上的指标分数。
• 可扩展性 – 可添加新的样式指南、接入不同的图像生成模型，或启用手动示例选择（TODO）。

重要性 – 创建清晰准确的图形是研究人员的瓶颈。PaperBanana 展示了大型语言模型结合检索增强提示和迭代优化，可以自动化大部分工作，可能加速写作过程并提高论文间的视觉一致性。

社区 – 该仓库是 Google-Research 的 PaperVizAgent 的分支，包含许多开发者的贡献。它还链接到相关的社区分支（例如中文增强版）和其他解决自动图形生成的项目。

快速开始

# 克隆并进入仓库
git clone https://github.com/dwzhu-pku/PaperBanana.git && cd PaperBanana

# 使用 uv 设置环境（或如果你更喜欢，使用 pip）
uv venv && source .venv/bin/activate
uv python install 3.12
uv pip install -r requirements.txt

# 复制配置模板并添加你的 API 密钥
cp configs/model_config.template.yaml configs/model_config.yaml
# 编辑 configs/model_config.yaml → 填写 defaults.main_model_name、defaults.image_gen_model_name 和 api_keys 条目

# 下载基准数据
# （按说明放在 data/PaperBananaBench/ 下）

# 本地运行网页界面
python app.py   # Gradio
# 或
streamlit run demo.py   # Streamlit

结论 – PaperBanana 是一个真正的 AI 研究代码库，展示了参考驱动的多智能体流程，用于自动生成学术图形，并配有演示 UI、CLI 和评估框架。