dwzhu-pku/PaperBanana

PaperBanana – AI による学術イラストレーション

機能 – PaperBanana は、研究論文のテキスト（例：方法段落と図のキャプション）を出版可能な図やプロットに変換する、オープンソースのマルチエージェントシステムです。これは、専門化されたエージェントを連鎖させることで実現します：

リトリーバー – 厳選されたデータセットから類似の参照図を取得し、システムに視覚的な例を提供します。
プランナー – 論文の内容に基づいて、目的の図の詳細なテキスト記述を作成します。
スタイリスト – システムが自動生成する学術スタイルガイドラインに従うように記述を書き換えます。
ビジュアライザー – 最先端の画像生成モデル（例：OpenRouter 経由の Gemini、OpenAI、Anthropic）を呼び出して画像を作成します。
批評者 – 出力を評価し、ビジュアライザーに改善を要求し、数ラウンド繰り返します。

結果は、検査、改良、高解像度でのダウンロードが可能な候補図のセットです。

使用方法

Web UI – Gradio デモ（Hugging Face Spaces でもホスト）または Streamlit デモで、テキストを貼り付け、モデルを選択し、オプション（アスペクト比、候補数、改良ラウンド）を設定して、クリックで図を生成できます。
CLI – python main.py でローカルに完全なパイプラインを実行；フラグでデータセット、タスクタイプ（図 vs. プロット）、検索モード、実験モードを選択できます。
設定 – Gemini または OpenRouter の API キーは YAML ファイル（configs/model_config.yaml）に保存されます。システムはどちらのプロバイダーでも動作します。両方存在する場合は OpenRouter が優先されます。

主要コンポーネント

データセット – Hugging Face の PaperBananaBench は、検索と評価用の参照図と正解プロットを提供します。
モジュール式エージェント – 各エージェントは agents/ にあり、交換または拡張できます。
評価ツール – visualize/ のスクリプトで、パイプラインの進化とベンチマークに対するメトリクススコアを表示できます。
拡張性 – 新しいスタイルガイドを追加したり、異なる画像生成モデルをプラグインしたり、手動の例選択を有効にしたりできます（TODO）。

重要性 – 明確で正確な図を作成することは研究者にとってボトルネックです。PaperBanana は、大規模言語モデルと検索拡張プロンプト、反復的改善を組み合わせることで、この作業の多くを自動化でき、執筆プロセスを加速し、論文間の視覚的一貫性を向上させる可能性があることを示しています。

コミュニティ – このリポジトリは Google-Research の PaperVizAgent のフォークであり、多くの開発者の貢献が含まれています。また、関連するコミュニティフォーク（例：中国語強化版）や、自動図生成に取り組む他のプロジェクトへのリンクも含まれています。

はじめに

# リポジトリをクローンして移動
git clone https://github.com/dwzhu-pku/PaperBanana.git && cd PaperBanana

# uv で環境をセットアップ（または pip を好む場合は pip）
uv venv && source .venv/bin/activate
uv python install 3.12
uv pip install -r requirements.txt

# 設定テンプレートをコピーして API キーを追加
cp configs/model_config.template.yaml configs/model_config.yaml
# configs/model_config.yaml を編集 → defaults.main_model_name、defaults.image_gen_model_name、api_keys エントリを記入

# ベンチマークデータをダウンロード
# （指示に従って data/PaperBananaBench/ に配置）

# ローカルで Web UI を実行
python app.py   # Gradio
# または
streamlit run demo.py   # Streamlit

結論 – PaperBanana は、参照駆動のマルチエージェントパイプラインを実証する本格的な AI 研究コードベースであり、デモ UI、CLI、評価フレームワークを備え、学術図の自動生成を実現します。