BINE022/EEGPT

Official code repository for the paper 'EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals' [NIPS 2024].

解決的問題

EEGPT 解決了從 EEG(腦電圖)訊號中提取可靠、通用特徵的挑戰,這些訊號通常面臨低信號對雜訊比(SNR)問題,這會降低傳統基於遮罩的自監督學習方法提取特徵的品質。

工作原理

EEGPT 是一個擁有 1,000 萬參數的預訓練 Transformer 模型。它採用基於遮罩的雙重自監督學習方法進行特徵提取。與標準方法不同,它引入了時空表示對齊,以高信號對雜訊比和豐富語義資訊的表示為基礎建立自監督任務,而非依賴原始的雜訊訊號。

適用對象

從事腦機介面(BCI)和 EEG 訊號處理的研究人員與開發者,他們需要一個穩健的預訓練基礎模型,用於各種下游神經或生理任務。

主要亮點

  • 雙重自監督學習:採用專門的遮罩策略,提升特徵提取效率。
  • 時空對齊:專門設計以避免低信號對雜訊比訊號導致的特徵品質下降。
  • 預訓練權重:提供用於通用 EEG 特徵提取的預訓練模型。
  • 下游任務通用性:支援線性探測與微調,適用於多種下游 EEG 資料集與任務。

相關

  • 專案
  • 專案
  • 專案
  • 專案