jannisborn/paperscraper

해결하는 문제

연구자들은 여러 소스(PubMed, arXiv, 프리프린트 서버)에서 출판물 메타데이터와 전문을 수집하고 인용 지표를 추적해야 하는 경우가 많지만, 수동으로 하면 지루하고 오류가 발생하기 쉽습니다. Paperscraper는 이러한 작업을 자동화하는 단일 Python 인터페이스를 제공하며, 프리프린트 아카이브의 대량 다운로드와 인용 계산도 포함합니다.

작동 방식

pip으로 설치하는 Python 패키지입니다. PubMed, arXiv, Google Scholar를 직접 쿼리할 수 있습니다. bioRxiv, medRxiv, chemRxiv의 경우 먼저 전체 아카이브의 로컬 덤프(JSONL 파일)를 다운로드한 다음 로컬에서 검색합니다. 이 패키지는 DOI로 PDF를 검색하고, Google Scholar 또는 Semantic Scholar에서 인용 수를 가져오고, 논문의 자기 인용/자기 참조 점수를 계산하는 기능도 제공합니다. 키워드 검색은 중첩 목록을 통한 부울 논리(AND/OR)를 지원합니다.

대상 사용자

과학 문헌을 프로그래밍 방식으로 다루는 모든 사람: 연구자, 문헌 검토자, 메타데이터 수집, 논문 다운로드, 인용 패턴 분석을 원하는 데이터 과학자.

주요 기능

• PubMed, arXiv, bioRxiv, medRxiv, chemRxiv에서 출판물 메타데이터를 스크래핑합니다.
• DOI로 전문 PDF 또는 XML을 다운로드합니다.
• Google Scholar(SearchApi 경유) 및 Semantic Scholar에서 인용 수와 검색 결과를 가져옵니다.
• 저널 영향력 지수 쿼리를 제공합니다.
• 날짜 범위 지정 스크래핑과 프리프린트 서버의 대량 아카이브 다운로드를 지원합니다.
• 논문별 자기 인용 및 자기 참조 분석을 포함합니다.
• 부울(AND/OR) 논리를 사용한 키워드 검색.