weecology/retriever

解决的问题

研究人员和分析师经常花费数小时甚至数天来准备公开可用的数据以进行分析。许多数据集缺乏机器可读的元数据，且格式不一致，因此下载、清理、标准化和导入这些数据既繁琐又容易出错。Data Retriever 自动化了数据流水线中的这些初始步骤，让您能够快速从原始数据转换为可用的数据库或文件。

工作原理

安装后（通过 pip 或 conda，或使用预编译的二进制文件），您可以运行 retriever update 获取可用数据集的脚本。然后使用 retriever install 等命令将数据集下载并加载到目标格式，如 MySQL、PostgreSQL、SQLite、Microsoft Access、CSV、JSON 或 XML。该工具会在后台处理数据的清理和标准化。您还可以使用 retriever download 下载原始文件，使用 retriever citation 获取数据集引用，并使用 new、new_json、edit_json 及相关命令创建或编辑自己的数据集脚本。支持通过 PostGIS 在 Postgres 中处理矢量栅格数据集的空间数据。

适用人群

任何使用公共数据集进行分析的人——生态学家、数据科学家、研究人员或分析师——希望跳过重复的数据整理工作，直接使用数据库、电子表格或编程语言中的数据。

亮点

• 自动化下载、清理和标准化数据集，节省数小时到数天的手动工作。
• 导入多种目标：关系数据库（MySQL、PostgreSQL、SQLite、MS Access）和文件格式（CSV、JSON、XML）。
• 简单的命令行界面，包含安装、下载、更新和数据集脚本管理的子命令。
• 包含可用数据集的精选列表，并支持自定义数据集脚本。
• 可选的空间支持，通过 PostGIS 处理矢量栅格数据。
• 作为 Python 包（pip/conda）或独立二进制文件提供，支持 Windows、macOS 和 Ubuntu/Debian。