NeuroDong/Ai-Review

🤖 Ai‑Review とは？

Ai‑Review は、研究者が科学論文の自動化された AI 生成査読を取得できるオープンソースの Web サービスです。PDF（または LaTeX/Word ソース）をアップロードすることで、システムは長所、短所、提案の構造化されたリストを生成し、同じ会議の他の論文と比較して自分の論文がどの程度競争力があるかを教えてくれます。

🔑 コア機能

機能	内容	アクセス方法
LLM ベースの査読	大規模言語モデルのプロンプト（SoT、few‑shot、chain‑of‑thought）を使用してテキスト査読を生成します。	Web UI – `https://ai-review.neurodong.top`
VLM ベースの査読	各 PDF ページの画像スナップショットを取得し、モデルが図、表、レイアウトを確認できるようにしてから、画像品質のフィードバックを追加します。	`…/vlm_review.html`
プロンプトインジェクション検出	査読モデルを乗っ取る可能性のある隠し命令がないか PDF をスキャンします。	`…/prompt_injection.html`
Relative Rank	匿名化された原稿を、選択した会議（例：ICLR、NeurIPS）またはカスタムセットからの論文プールに配置し、競争力ランキングを返します。	`…/compete.html`
Agent スキル統合	査読機能を AI アシスタントプラットフォーム（例：Cursor）のスキルとして公開します。`review my paper` や中国語コマンド `审稿` などの自然言語でトリガーできます。	プラットフォームのスキルディレクトリに `ai-review-skills` フォルダをインストール

🛠️ 内部の仕組み

LLM バックエンド – サービスは互換性のある任意の LLM API を呼び出すことができます（デフォルトのデモでは公開エンドポイントを使用しますが、Deepseek など独自のものを設定できます）。プロンプトテンプレートは Prompts/ にあり、リバースプロンプト、few‑shot、chain‑of‑thought のバリエーションが含まれています。
VLM バックエンド – Facebook‑research の Nougat スタイルの視覚言語モデルを使用して、ページのスナップショットを抽出し、図やレイアウトについて推論します。
PDF 処理 – LLM 査読の場合はテキストが抽出され、VLM 査読の場合は画像がキャプチャされて VLM に入力されます。
ランキングエンジン – プール内のすべての PDF のテキストが匿名化され、埋め込まれ（おそらく同じ LLM を使用）、ペアで比較されます。100 個のテストプールでの報告されたペアワイズ精度は 83.8 % です。
デプロイ – Cloudflare でホストされ（静的フロントエンド + サーバーレス関数）、Gradio スタイルの UI を備えています。コードベースにはローカルデプロイ用の FastAPI バックエンドも含まれています。

🚀 はじめに

Web デモ（インストール不要） – Web サイトを開き、PDF をドラッグ＆ドロップし、プロンプトモードを選択して、Review をクリックします。
ローカルで実行 – リポジトリをクローンし、Python の依存関係（FastAPI、Gradio、VLM モデル）をインストールして、サーバー（uvicorn app:app）を起動します。
スキルとして追加 – ai-review-skills フォルダを ~/.cursor/skills/（またはアシスタントの同等のパス）にコピーし、チャットから呼び出します。

📚 リポジトリ内のリソース

Prompts/ – LLM および VLM 査読用のプロンプトテンプレート。
Examples/ – サンプル査読（例：ResNet 論文）と Relative Rank 評価レポート。
ai-review-skills/SKILL.md – Agent スキルのインストール手順。
Examples/Relative_Rank_evaluation.md – ランキング機能の詳細な精度数値。

🗓️ 最近の更新（2026年8月現在）

2026年8月20日 – 100 プールの評価（83.8 % のペアワイズ精度）を伴う Relative Rank をローンチ。
2026年3月19日 – プロンプトインジェクション検出を追加。
2026年3月6日 – レイアウト認識と画像美学スコアリングを VLM 査読に統合。
2026年2月26日 – Cursor 互換の Ai‑Review Skill をリリース。
2025年初頭 – chain‑of‑thought、few‑shot、およびサイドバイサイドのプロンプト比較モードを追加。ホスティングを Cloudflare に移行。

🎯 このツールのユーザー層

研究者 – 会議投稿の準備をしており、原稿の迅速な健全性チェックを希望する人。
大学院生 – 指導教員とドラフトを共有する前に、構造化されたフィードバックを求めている人。
AI アシスタント開発者 – 論文査読機能をボットに組み込みたいと考えている人。

📌 まとめ

Ai‑Review は、LLM テキスト分析、VLM 視覚推論、および競争ランキングエンジンを組み合わせて、科学者が論文を改善するのを助ける、完全に機能し継続的に更新されるプラットフォームです。公開 Web サイトを通じて即座に使用することも、FastAPI/Gradio サーバーまたは Agent スキルとして個人のワークフローに統合することもできます。