weecology/retriever

解決する問題

研究者やアナリストは、公開データを分析用に準備するために数時間から数日を費やすことがよくあります。多くのデータセットには機械可読なメタデータがなく、形式も一貫していないため、ダウンロード、クリーニング、標準化、インポートは退屈でエラーが発生しやすい作業です。Data Retriever はデータパイプラインのこれらの初期ステップを自動化し、生データからすぐに使えるデータベースやファイルへ迅速に移行できるようにします。

仕組み

インストール後（pip や conda を使用するか、プリコンパイル済みバイナリを使用）、retriever update を実行して利用可能なデータセットのスクリプトを取得します。次に、retriever install などのコマンドを使用して、データセットを MySQL、PostgreSQL、SQLite、Microsoft Access、CSV、JSON、XML などのターゲット形式にダウンロードしてロードします。このツールは、データのクリーニングと標準化をバックグラウンドで処理します。また、retriever download で生ファイルをダウンロードしたり、retriever citation でデータセットの引用を取得したり、new、new_json、edit_json および関連コマンドを使用して独自のデータセットスクリプトを作成または編集したりできます。PostGIS を使用した Postgres の空間サポートは、ベクターデータセットとラスターデータセットで利用できます。

対象者

分析のために公開データセットを扱うすべての人（生態学者、データサイエンティスト、研究者、アナリスト）で、データの前処理という反復作業をスキップして、データベース、スプレッドシート、またはプログラミング言語でデータを直接使用したいと考えている人。

ハイライト

• データセットのダウンロード、クリーニング、標準化を自動化し、数時間から数日分の手動作業を節約します。
• 複数のターゲットにインポート：リレーショナルデータベース（MySQL、PostgreSQL、SQLite、MS Access）およびファイル形式（CSV、JSON、XML）。
• インストール、ダウンロード、更新、データセットスクリプト管理のためのサブコマンドを備えたシンプルなコマンドラインインターフェース。
• 利用可能なデータセットのキュレーションリストが含まれており、カスタムデータセットスクリプトをサポートします。
• PostGIS によるオプションの空間サポートで、ベクターおよびラスターデータを処理します。
• Python パッケージ（pip/conda）またはスタンドアロンバイナリとして提供され、Windows、macOS、Ubuntu/Debian に対応しています。