PolymathicAI/the_well

A 15TB Collection of Physics Simulation Datasets

何を解決するか

機械学習モデルの開発を加速するため、大規模で標準化された数値物理シミュレーションのコレクションを提供します。15TBの多様な時空間データを提供することで、物理系を予測できるサロゲートモデルの学習に必要な高品質なシミュレーションデータを調達する障壁を解消します。

どう動くか

Pythonパッケージとして構成されており、ユーザーはWellDatasetクラスを用いてHugging Face経由でストリーミングし、またはローカルにダウンロードして、PyTorchと互換性のあるトレーニングパイプラインに物理データセットを読み込むことができます。流体動力学、生物系、超新星爆発など16の分野をカバーするデータセットが含まれています。さらに、FNOなどの事前実装されたサロゲートモデルとトレーニングスクリプトを備えたベンチマークスイートも提供され、これらの物理系におけるモデル性能を評価できます。

対象ユーザー

PDE(偏微分方程式)サロゲートモデリングおよび計算物理学に取り組む研究者や機械学習エンジニアで、大規模かつ多様なトレーニングデータが必要な方。

特徴

  • 大規模なスケール: 16の多様な物理データセットにまたがる15TBのデータを含む。
  • 広範な分野カバー: 音響散乱から銀河外の磁気流体まで、あらゆるシミュレーションを含む。
  • 柔軟なデータアクセス: ローカルダウンロードとHugging Faceからの直接ストリーミングの両方をサポート。
  • 統合されたベンチマーク: トレーニングフレームワークと事前学習済みのベースラインモデルのチェックポイントを備え、比較が容易。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト