BINE022/EEGPT

Official code repository for the paper 'EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals' [NIPS 2024].

해결하는 문제

EEGPT는 일반적인 마스크 기반 자기지도 학습 방법이 낮은 신호 대 잡음비(SNR)로 인해 특징 추출 품질이 저하되는 문제를 해결하기 위해, 이중 자기지도 학습 방식을 사용하여 일반적인 EEG(뇌파) 신호에서 신뢰할 수 있고 일반적인 특징을 추출하는 데 목적을 두고 있습니다.

작동 방식

EEGPT는 1,000만 파라미터의 사전 학습된 Transformer 모델입니다. 마스크 기반의 이중 자기지도 학습 방식을 사용하여 특징 추출을 수행합니다. 표준 방법과 달리, 원시적인 노이즈가 많은 신호에 의존하지 않고, 높은 SNR과 풍부한 의미 정보를 가진 표현을 기반으로 자기지도 학습 작업을 설계하기 위해 공간-시간 표현 정렬을 통합합니다.

대상 사용자

뇌-컴퓨터 인터페이스(BCI) 및 EEG 신호 처리에 종사하는 연구자 및 개발자로서, 다양한 하류 신경학적 또는 생리학적 작업에 사용할 수 있는 강력한 사전 학습 기반 모델이 필요한 분들입니다.

주요 특징

  • 이중 자기지도 학습: 특화된 마스킹 전략을 통해 특징 추출 효율을 향상시킵니다.
  • 공간-시간 정렬: 낮은 SNR 신호로 인한 낮은 품질의 특징을 피하기 위해 특별히 설계되었습니다.
  • 사전 학습된 가중치: 일반적인 EEG 특징 추출을 위한 사전 학습된 모델을 제공합니다.
  • 하류 작업의 유연성: 다양한 하류 EEG 데이터셋 및 작업에 대해 선형 탐색과 미세 조정을 지원합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트