weecology/retriever

해결하는 문제

연구자와 분석가들은 공개 데이터를 분석에 사용할 수 있도록 준비하는 데 몇 시간에서 며칠씩 낭비하는 경우가 많습니다. 많은 데이터셋에 기계가 읽을 수 있는 메타데이터가 없고 일관된 형식을 따르지 않아 다운로드, 정리, 표준화 및 가져오기가 지루하고 오류가 발생하기 쉽습니다. Data Retriever는 데이터 파이프라인의 이러한 초기 단계를 자동화하여 원시 데이터에서 바로 사용 가능한 데이터베이스나 파일로 빠르게 전환할 수 있게 해줍니다.

작동 방식

설치 후(pip 또는 conda를 통해 또는 사전 컴파일된 바이너리 사용) retriever update를 실행하여 사용 가능한 데이터셋의 스크립트를 가져옵니다. 그런 다음 retriever install과 같은 명령을 사용하여 데이터셋을 MySQL, PostgreSQL, SQLite, Microsoft Access, CSV, JSON 또는 XML과 같은 대상 형식으로 다운로드하고 로드합니다. 이 도구는 백그라운드에서 데이터 정리 및 표준화를 처리합니다. 또한 retriever download로 원시 파일을 다운로드하고, retriever citation으로 데이터셋 인용 정보를 얻고, new, new_json, edit_json 및 관련 명령을 사용하여 자체 데이터셋 스크립트를 만들거나 편집할 수 있습니다. PostGIS를 사용한 Postgres의 공간 지원은 벡터 및 래스터 데이터셋에 사용할 수 있습니다.

대상 사용자

분석을 위해 공개 데이터셋을 사용하는 모든 사람(생태학자, 데이터 과학자, 연구자 또는 분석가)으로, 반복적인 데이터 정리 작업을 건너뛰고 데이터베이스, 스프레드시트 또는 프로그래밍 언어에서 데이터를 직접 사용하려는 사람.

주요 기능

• 데이터셋 다운로드, 정리 및 표준화를 자동화하여 수 시간에서 수 일의 수동 작업을 절약합니다.
• 여러 대상으로 가져오기: 관계형 데이터베이스(MySQL, PostgreSQL, SQLite, MS Access) 및 파일 형식(CSV, JSON, XML).
• 설치, 다운로드, 업데이트 및 데이터셋 스크립트 관리를 위한 하위 명령이 있는 간단한 명령줄 인터페이스.
• 사용 가능한 데이터셋의 선별된 목록을 포함하며 사용자 정의 데이터셋 스크립트를 지원합니다.
• PostGIS를 통한 선택적 공간 지원으로 벡터 및 래스터 데이터를 처리합니다.
• Python 패키지(pip/conda) 또는 Windows, macOS, Ubuntu/Debian용 독립 실행형 바이너리로 제공됩니다.