BINE022/EEGPT
Official code repository for the paper 'EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals' [NIPS 2024].
解決的問題
EEGPT 解決了從 EEG(腦電圖)訊號中提取可靠、通用特徵的挑戰,這些訊號通常面臨低信號對雜訊比(SNR)問題,這會降低傳統基於遮罩的自監督學習方法提取特徵的品質。
工作原理
EEGPT 是一個擁有 1,000 萬參數的預訓練 Transformer 模型。它採用基於遮罩的雙重自監督學習方法進行特徵提取。與標準方法不同,它引入了時空表示對齊,以高信號對雜訊比和豐富語義資訊的表示為基礎建立自監督任務,而非依賴原始的雜訊訊號。
適用對象
從事腦機介面(BCI)和 EEG 訊號處理的研究人員與開發者,他們需要一個穩健的預訓練基礎模型,用於各種下游神經或生理任務。
主要亮點
- 雙重自監督學習:採用專門的遮罩策略,提升特徵提取效率。
- 時空對齊:專門設計以避免低信號對雜訊比訊號導致的特徵品質下降。
- 預訓練權重:提供用於通用 EEG 特徵提取的預訓練模型。
- 下游任務通用性:支援線性探測與微調,適用於多種下游 EEG 資料集與任務。
相關
- 專案
- 專案
- 專案
- 專案