DeepXiv/deepxiv_sdk
Talk to research papers like talking to authors - Python package with AI agent for arXiv papers
DeepXiv SDK – 全文論文およびウェブ上のエージェント検索
何であるか – deepxiv-sdk は Python パッケージ(および併用 CLI)であり、自然言語による質問に対して 実際の出典に基づいた 答えを返すことができます。このサービスは全文 arXiv 論文(またはキャッシュ済みウェブページ)を取得し、LLM が関連するセクションを読み、実際の arXiv ID や URL を引用として含む答えをストリーミングで返します。
なぜ重要か – 多くの LLM ベースの検索ツールはリンクのリストや要約のみを返します。DeepXiv は データ層 を追加し、自律エージェントが研究論文の実際の内容を推論できるようにし、出力が検証可能で、後続のワークフロー(例:文献レビュー、自動レポート作成、RAG パイプライン)に適したものです。
コア機能
| 機能 | 得られるもの |
|---|---|
エージェント ask |
deepxiv ask "…" でクエリを送信すると、サービスがツールを選択し、出典を読み、引用付きの答えをストリーミングで返します。2つのバックエンド:arxiv(全文論文)と --web(Google キャッシュページ)。 |
| 本物の引用 | 答えには本物の arXiv ID や URL が含まれます。サービスは識別子を捏造しません。 |
| プログレッシブリーディング | CLI ヘルパー(search、paper --brief/--head/--section)により、候補を取得し、メタデータをスキャンし、必要なセクションのみを読むことが可能で、トークンを節約できます。 |
| 細かいフィルタ | 著者、組織、会議、年、分野、引用回数、日付範囲など、AND 論理で組み合わせて、正確な検索が可能です。 |
| エージェント統合 | Reader クラスと MCP サーバーの例が、ask を自律エージェント用のツールとして公開する方法を示しています。 |
| 複数の努力モード | `--effort default |
| ストリーミング / JSON 出力 | 答えは stdout にストリーミング。メタデータ(進捗、クォータ)は stderr に出力。--json で単一の JSON オブジェクトを返します。 |
| レート制限 | 無料の自動登録トークン:1,000 回/日(エージェント呼び出し不可)。登録アカウント:10,000 回/日(一般呼び出し)+ 30 回/日(エージェント呼び出し)。 |
| 対応する出典 | arXiv(全文)、Google キャッシュページ、PubMed Central、bioRxiv/medRxiv。 |
クイックスタート(CLI)
pip install deepxiv-sdk # パッケージと CLI をインストール
# トークンを取得するためのアカウント登録
deepxiv config --token YOUR_KEY
# arXiv 論文上で簡単な質問
deepxiv ask "DEER は HumanEval でどの程度のスピードアップを報告していますか"
# ウェブ上で同じクエリ
deepxiv ask "Anthropic Claude API の価格プラン" --web
答えは stdout に出力されます。引用は stderr に出力されます。> answer.md にリダイレクトすると、答えのみをキャプチャできます。
クイックスタート(Python)
from deepxiv_sdk import Reader
reader = Reader() # 設定ファイルまたは環境変数からトークンを読み込み
res = reader.agent_search(
"DEER は HumanEval でどの程度のスピードアップを報告していますか",
source="arxiv", effort="default"
)
print(res["answer"]) # ストリーミングされた答えのテキスト
print(res["sources"]) # 検索結果セット(辞書のリスト)
SDK は非エージェントヘルパー(search、paper、trending など)も提供しており、構造化された JSON を返します。
使うべき場面
- 最新の論文から検証可能な数値、手法の詳細、ベンチマーク結果が必要な研究アシスタント。
- 出典を引用しなければならない自律エージェント(例:幻覚を避ける RAG パイプライン)。
- HTTP ベースのバックエンド(
Readerは REST API をラップ)を簡単に構築したいツール開発者。arXiv のダウンロードを自前で処理しなくてよい。
既知の制限と注意点
- エージェント呼び出しには登録済みトークンが必要。自動登録トークンは
askには使用できません。 - 努力レベルは初期のリコールを変更しません。
--effortを上げても、最初の検索で見逃された論文は追加読み取りで取得できません。 - ウェブバックエンドはキャッシュ済みページ本文のみを読み取ります。キャッシュされていないページは検索スニペットのみが利用され、出力でマークされます。
- 答えの切り詰め –
--max-answer-tokensに達すると、answer_truncatedとしてフラグが立つ。呼び出し元は不完全とみなすべきです。 - カバレッジ – インデックス対象はオープンアクセスの文献のみ(arXiv、PMC、bioRxiv/medRxiv)。有料購読のみの論文は利用できません。
ライセンスとサポート
- ライセンス:MIT(
LICENSEを参照)。 - ライブサービス:https://deepxiv.com
- API ドキュメント:https://data.rag.ac.cn/api/docs
- ステータスページ:https://data.rag.ac.cn/status
- 問題報告:https://github.com/qhjqhj00/deepxiv_sdk/issues
- 高クォータ / 連絡先:
tommy@chien.io
まとめ
DeepXiv SDK は、LLM の推論と科学論文の実際の内容の間のギャップを埋める、即時利用可能な引用対応検索レイヤーを提供します。信頼できる研究アシスタントの構築や、出典を検証可能なソースで裏付けられるあらゆる AI システムに特に有用です。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト