BINE022/EEGPT

Official code repository for the paper 'EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals' [NIPS 2024].

何を解決するか

EEGPTは、通常のマスクベースの自己教師学習手法が低SNR(信号対雑音比)の影響で特徴抽出の品質が低下する問題を克服するために、二重自己教師学習法を用いた汎用的なEEG特徴抽出を目的とした事前学習済みTransformerモデルです。

動作方法

EEGPTは1,000万パラメータの事前学習済みTransformerモデルです。マスクベースの二重自己教師学習法を用いて特徴抽出を行います。標準的手法とは異なり、ノイズの多い原始信号に依存するのではなく、高SNRかつ豊かな意味情報を含む表現に基づいて自己教師学習タスクを構築するための空間時系列表現の整合性を組み込んでいます。

対象ユーザー

脳-コンピュータインターフェース(BCI)やEEG信号処理に取り組む研究者や開発者で、さまざまな下流の神経学的または生理学的タスクに使える堅牢な事前学習モデルが必要な方々。

特徴

  • 二重自己教師学習: 特化したマスキング戦略を採用し、特徴抽出の効率を向上。
  • 空間時系列整合性: 低SNR信号による劣化した特徴品質を回避するように設計。
  • 事前学習済み重み: 汎用的なEEG特徴抽出用の事前学習モデルを提供。
  • 下流タスクの汎用性: 線形プローブとファインチューニングをサポートし、さまざまな下流EEGデータセットやタスクに対応。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト