PolymathicAI/the_well

A 15TB Collection of Physics Simulation Datasets

해결하는 문제

계산 과학 분야의 기계학습 모델 개발을 가속화하기 위해 대규모이고 표준화된 수치 물리 시뮬레이션 컬렉션을 제공합니다. 15TB에 달하는 다양한 시공간 데이터를 제공함으로써, 물리 시스템을 예측할 수 있는 서rogate 모델을 학습하기 위한 고품질 시뮬레이션 데이터 확보의 장벽을 제거합니다.

작동 방식

Python 패키지로 구성되어 있으며, 사용자는 Hugging Face를 통해 스트리밍하거나 로컬에 다운로드하여 PyTorch와 호환되는 WellDataset 클래스를 사용해 훈련 파이프라인에 물리 데이터셋을 로드할 수 있습니다. 유체역학, 생물학적 시스템, 초신성 폭발 등 16개의 분야를 아우르는 데이터셋이 포함되어 있습니다. 또한 FNO와 같은 사전 구현된 서rogate 모델과 훈련 스크립트를 포함한 벤치마킹 스위트를 제공하여 이러한 물리 시스템에서 모델 성능을 평가할 수 있습니다.

대상 사용자

PDE(편미분방정식) 서rogate 모델링 및 계산 물리학에 종사하는 연구자 및 기계학습 엔지니어로, 대규모이고 다양한 훈련 데이터가 필요한 분들입니다.

주요 특징

  • 대규모 규모: 16개의 다양한 물리 데이터셋에 걸쳐 15TB의 데이터를 포함합니다.
  • 광범위한 도메인 커버리지: 음향 산란부터 은하간 자기유체역학적 유체까지 다양한 시뮬레이션을 포함합니다.
  • 유연한 데이터 접근: 로컬 다운로드와 Hugging Face에서의 직접 스트리밍을 모두 지원합니다.
  • 통합 벤치마킹: 훈련 프레임워크와 사전 학습된 기준 모델 체크포인트를 포함하여 비교가 용이합니다.

관련

  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트