jannisborn/paperscraper

解決する問題

研究者は、複数のソース（PubMed、arXiv、プレプリントサーバー）から出版物のメタデータや全文を収集し、引用指標を追跡する必要がよくありますが、手作業では面倒でエラーが発生しやすいものです。Paperscraper は、これらのタスクを自動化する単一の Python インターフェースを提供し、プレプリントアーカイブの一括ダウンロードや引用カウントも含みます。

仕組み

これは pip でインストールする Python パッケージです。PubMed、arXiv、Google Scholar を直接クエリできます。bioRxiv、medRxiv、chemRxiv については、まずアーカイブ全体のローカルダンプ（JSONL ファイル）をダウンロードし、その後ローカルで検索します。このパッケージは、DOI による PDF の取得、Google Scholar または Semantic Scholar からの引用数の取得、論文の自己引用/自己参照スコアの計算機能も提供します。キーワード検索は、ネストされたリストによるブール論理（AND/OR）をサポートしています。

対象読者

科学文献をプログラムで扱うすべての人：研究者、文献レビュー担当者、メタデータの収集、論文のダウンロード、引用パターンの分析を希望するデータサイエンティスト。

ハイライト

• PubMed、arXiv、bioRxiv、medRxiv、chemRxiv から出版物メタデータをスクレイピング。
• DOI による全文 PDF または XML のダウンロード。
• Google Scholar（SearchApi 経由）と Semantic Scholar から引用数と検索結果を取得。
• ジャーナルインパクトファクターのクエリを提供。
• 日付範囲指定のスクレイピングとプレプリントサーバーの一括アーカイブダウンロードをサポート。
• 論文ごとの自己引用および自己参照分析を含む。
• ブール（AND/OR）論理によるキーワード検索。