NeuroDong/Ai-Review

Large model-assisted paper review

🤖 Ai‑Review란?

Ai‑Review는 연구자들이 과학 원고에 대한 자동화된 AI 생성 검토를 받을 수 있게 해주는 오픈소스 웹 서비스입니다. PDF(또는 LaTeX/Word 소스)를 업로드하면 시스템은 장점, 단점 및 제안의 구조화된 목록을 생성하며, 동일한 학회의 다른 논문들과 비교하여 자신의 논문이 얼마나 경쟁력이 있는지 알려줄 수도 있습니다.

🔑 핵심 기능

기능 수행 역할 접근 방법
LLM 기반 검토 대형 언어 모델 프롬프팅(SoT, few‑shot, chain‑of‑thought)을 사용하여 텍스트 검토를 생성합니다. 웹 UI – https://ai-review.neurodong.top
VLM 기반 검토 모델이 그림, 표, 레이아웃을 볼 수 있도록 각 PDF 페이지의 이미지 스냅샷을 찍은 다음, 이미지 품질 피드백을 추가합니다. …/vlm_review.html
프롬프트 인젝션 감지 검토자 모델을 하이재킹할 수 있는 숨겨진 명령어가 있는지 PDF를 스캔합니다. …/prompt_injection.html
Relative Rank 익명화된 원고를 선택한 학회(예: ICLR, NeurIPS) 또는 사용자 정의 세트의 논문 풀에 배치하고 경쟁력 순위를 반환합니다. …/compete.html
Agent‑Skill 통합 AI 어시스턴트 플랫폼(예: Cursor)을 위한 Skill로 검토 기능을 노출합니다. review my paper 또는 중국어 명령어 审稿와 같은 자연어로 트리거할 수 있습니다. 플랫폼의 스킬 디렉토리에 ai-review-skills 폴더 설치

🛠️ 내부 작동 방식

  • LLM 백엔드 – 이 서비스는 호환되는 모든 LLM API를 호출할 수 있습니다(기본 데모는 공개 엔드포인트를 사용하며, Deepseek 등 자신만의 것을 구성할 수 있습니다). 프롬프트 템플릿은 Prompts/에 있으며, 역방향 프롬프트, few‑shot 및 chain‑of‑thought 변형이 포함되어 있습니다.
  • VLM 백엔드 – Facebook‑research의 Nougat 스타일 시각-언어 모델을 사용하여 페이지 스냅샷을 추출하고 그림과 레이아웃에 대해 추론합니다.
  • PDF 처리 – LLM 검토의 경우 텍스트가 추출되고, VLM 검토의 경우 이미지가 캡처되어 VLM에 입력됩니다.
  • 랭킹 엔진 – 풀의 모든 PDF 텍스트는 익명화되고 임베딩되며(아마도 동일한 LLM 사용) 쌍별로 비교됩니다. 100개의 테스트 풀에서 보고된 쌍별 정확도는 **83.8 %**입니다.
  • 배포 – Cloudflare에서 호스팅되며(정적 프론트엔드 + 서버리스 기능) Gradio 스타일의 UI를 갖추고 있습니다. 코드베이스에는 로컬 배포를 위한 FastAPI 백엔드도 포함되어 있습니다.

🚀 시작하기

  1. 웹 데모(설치 불필요) – 웹사이트를 열고, PDF를 드래그 앤 드롭한 후, 프롬프팅 모드를 선택하고 Review를 클릭합니다.
  2. 로컬에서 실행 – 저장소를 복제하고, Python 종속성(FastAPI, Gradio, VLM 모델)을 설치한 다음, 서버(uvicorn app:app)를 시작합니다.
  3. Skill로 추가 – ai-review-skills 폴더를 ~/.cursor/skills/(또는 어시스턴트에 해당하는 경로)에 복사하고 채팅에서 호출합니다.

📚 저장소 내 리소스

  • Prompts/ – LLM 및 VLM 검토에 사용되는 프롬프트 템플릿.
  • Examples/ – 샘플 검토(예: ResNet 논문) 및 Relative Rank 평가 보고서.
  • ai-review-skills/SKILL.md – Agent Skill 설치 지침.
  • Examples/Relative_Rank_evaluation.md – 랭킹 기능에 대한 상세 정확도 수치.

🗓️ 최근 업데이트(2026년 8월 기준)

  • 2026년 8월 20일 – 100개 풀에 대한 평가(83.8 % 쌍별 정확도)와 함께 Relative Rank 출시.
  • 2026년 3월 19일 – 프롬프트 인젝션 감지 추가.
  • 2026년 3월 6일 – VLM 검토에 레이아웃 인식 및 이미지 미학 점수 매기기 통합.
  • 2026년 2월 26일 – Cursor 호환 Ai‑Review Skill 출시.
  • 2025년 초 – chain‑of‑thought, few‑shot 및 나란히 보기 프롬프트 비교 모드 추가; Cloudflare로 호스팅 이동.

🎯 이 도구의 사용자

  • 연구원 – 학회 제출을 준비하며 원고에 대한 빠른 건전성 검사를 원하는 사람.
  • 대학원생 – 지도교수와 초안을 공유하기 전에 구조화된 피드백을 원하는 사람.
  • AI 어시스턴트 개발자 – 논문 검토 기능을 자신의 봇에 내장하려는 사람.

📌 요약

Ai‑Review는 LLM 텍스트 분석, VLM 시각 추론 및 경쟁력 랭킹 엔진을 결합하여 과학자들이 논문을 개선할 수 있도록 돕는 완벽하게 작동하고 지속적으로 업데이트되는 플랫폼입니다. 공개 웹사이트를 통해 즉시 사용하거나 FastAPI/Gradio 서버 또는 Agent Skill을 통해 개인 워크플로우에 통합할 수 있습니다.

관련

  • 프로젝트
    Tswoen/Paper-Agent

    Paper‑Agent는 문헌 리뷰 생성을 자동화하는 오픈소스 AI 연구 보조 도구입니다. LangGraph 기반의 전문 에이전트(검색, 읽기, 분석, 개요 작성, 글쓰기) 워크플로우를 사용하여 OpenAI/Anthropic 호환 LLM을 호출해 arXiv, OpenAlex, Semantic Scholar에서 논문을 검색하고, PDF를 다운로드, 마크다운으로 변환, 청크화 및 ChromaDB에 임베딩, 하위 주제 분석, 구조화된 개요 생성, 리뷰 각 섹션 작성까지 수행합니다. FastAPI 백엔드는 SSE를 통해 실시간 진행 상황을 스트리밍하며, SQLite + 파일에 세션을 지속 저장합니다. Vue 3 프론트엔드는 모델 제공업체 설정, 토큰 사용량 모니터링, 브라우저 새로고침 후 작업 재개를 가능하게 합니다. 설치는 `uv` Python 패키지 매니저와 npm을 사용하며, 구성은 `config/model.json`에서 수행됩니다. 프로젝트는 완전히 오픈소스이며, 테스트와 PR을 통해 기여를 환영합니다.

  • 프로젝트
    AISBench/benchmark

    OpenCompass 기반 모델 평가 도구로, 텍스트 및 멀티모달 작업에서 로컬 및 서비스 기반 AI 모델의 정확도와 성능 벤치마킹을 제공합니다.

  • 프로젝트
    clusterzx/paperless-ai

    Paperless‑AI는 자체 호스팅 문서 관리 도구 Paperless‑ngx용 오픈소스 확장 프로그램입니다. 새로운 문서를 자동으로 분류하고, AI가 생성한 제목/태그를 추가하며, 벡터 인덱스를 구축하여 전체 아카이브에 자연어로 질문할 수 있는 RAG 채팅 기능을 제공합니다. OpenAI 호환 모델(로컬 Ollama 서버 포함)과 호환되며, 간단한 웹 UI를 갖춘 Docker 이미지로 제공됩니다.

  • 프로젝트
    wdcpclover/ai4paper

    문헌 검색, PDF 읽기 및 관리를 통합하고 근거 기반 AI 시스템을 통해 전문적이고 추적 가능한 문헌 검토를 작성할 수 있는 AI 기반 연구 워크벤치입니다.

  • 프로젝트
    VigoZhao/AI-Visual-Prompt-Cookbook

    AI 이미지 생성을 위한 116개의 JSON 기반 시각적 프롬프트 템플릿을 수록한 컬렉션. 각 스타일은 재사용 가능한 프롬프트, 플레이스홀더, 충실도 앵커, 부정적 프롬프트, 미리보기 이미지를 포함. 사용자는 `style.json`을 다중 모달 LLM(ChatGPT‑4‑Vision, Gemini‑Pro‑Image 등)에 복사하고 변수를 채워 일관된 포스터 스타일 이미지를 생성. 검증 스크립트, 다국어 문서, 온라인 갤러리 포함.