Spark-To-Paper-Skills/paperjury

Pre-submission AI review stress-test for research papers. A Claude Code skill: review, verdict, revise, verify.

PaperJury – LaTeX 논문을 위한 AI 지원 사전 검토

기능

Claude Code (또는 Codex) 플러그인으로 작동하여 연구 논문을 읽고, 리뷰어 스타일의 의견을 생성하며, 최소한의 LaTeX 패치를 초안합니다.
워크플로우는 엄격한 검토 → 판단 → 편집 → 재검사 루프를 따릅니다. 각 의견은 먼저 시뮬레이션된 리뷰어 그룹에 의해 평가되며, 다음 중 하나로 판단됩니다:
1. 유효-수정 가능 – 자동 패치가 가능한 안전한 텍스트 또는 형식 문제.
2. 저자 필수 – 누락된 실험, 증거 등 저자가 직접 처리해야 하는 본질적인 결함.
3. 무효-삭제 – 잘못된 의견으로 폐기됩니다.
세 가지 운영 모드 제공:
- direct-edit – 특정 변경을 요청하면 도구가 패치를 초안하고 승인을 기다립니다.
- review – 모크 피어 리뷰를 실행하여 문제 목록과 선택적 패치를 생성합니다.
- auto – 명시적인 "auto" 정책을 설정한 후 시스템은 감시 없이 작동하며, 저위험 편집만 자동 적용하고 고위험 항목은 저자 검토를 위해 대기열에 보관합니다.

의미

단순 텍스트 생성을 넘어서는 클로즈드 루프 보조자: 결정론적 안전 검사(LaTeX 컴파일, 참조 일관성, 제출 형식 준수)를 시행하고 모든 결정을 기계가 읽을 수 있는 로그에 기록합니다.
저자들에 따르면, 12개의 별도 테스트 논문을 대상으로 한 벤치마크에서 PaperJury는 문제 탐지의 매크로-F1을 0.519(기준)에서 0.656으로 향상시키고, 위험한 편집률을 4.4배 감소시켰으며, 각 논문 처리에 약 2.5시간의 컴퓨팅 시간(약 6.8M 토큰)이 소요됩니다.
리포지토리에는 완전한 "도그푸드" 예제가 포함되어 있으며, 전후 PDF와 수동 검증된 실행 보고서가 제공됩니다.

설치 방법

Claude Code 스킬로 마켓플레이스를 통해 설치:
```
/plugin marketplace add Spark-To-Paper-Skills/paperjury
/plugin install paperjury@Spark-To-Paper-Skills
```
(또는 ~/.claude/skills/paperjury에 리포지토리 클론).
Node.js 설치 확인; LaTeX 툴체인은 선택 사항이지만 실제 컴파일 검사를 가능하게 합니다.
npm run doctor로 환경을 검증한 후 자연어 명령어를 입력, 예시:
```
请审稿，重点检查实验是否足以支持 claim。
```
플러그인은 문제 목록, 패치 초안, 재검사 보고서를 반환합니다.

제공되는 출력

출력	내용
📋 문제 목록	증거, 위치, 현재 상태를 포함한 리뷰어 스타일의 문제.
🧩 패치	안전한 문제에 대한 최소한의 LaTeX 수정; 고위험 수정은 저자 검토를 위해 대기열에 보관.
🛠️ 재검사 보고서	실제 LaTeX 컴파일 결과(오류, 오버플로우 상자, 누락된 참조) 또는 툴체인이 부족할 경우 명확한 대체 방안.
🧪 도그푸드 샘플	`samples/dogfood/`에는 실제 21페이지 드래프트, 원본 PDF, 수정된 PDF, 검증된 실행 보고서가 포함되어 있습니다.

사용 대상

제한 사항

새로운 실험이나 도메인 판단이 필요한 문제는 저자의 과학적 판단을 대체하지 못하며, 저자 필수로 반환됩니다.
도구는 로컬에서 실행되며, LLM 백엔드는 사용자의 Claude Code 환경에 따라 클라우드 호스팅될 수 있습니다.
현재 LaTeX, Markdown, 변환된 Word(.docx) 파일을 지원하지만, 복잡한 표나 수식은 변환 과정에서 정확도가 손실될 수 있습니다.

추가 자료

PaperJury는 연구자가 LaTeX 원고에 대해 구조적이고 안전한 사전 검토를 수행할 수 있도록 돕는 진정한 오픈소스 AI 에이전트 시스템입니다.