facebookresearch/brain2qwerty

Non-invasive decoding of typed sentences from MEG and EEG brain recordings using a convolutional encoder, transformer, and character-level language model.

解决的问题

Brain2Qwerty 解决了从非侵入性脑记录中解码自然句子的挑战，使用户在打字时能够实时重建文本。

工作原理

该项目使用非侵入性脑记录（特别是 MEG 扫描仪）来解读脑活动，并将其转换为打字输入的句子。提供了两个版本的代码（v1 和 v2）来实现这些解码过程。

适用人群

对脑机接口（BCI）和人类脑活动向文本解码感兴趣的新一代神经科学与人工智能研究人员。

亮点

  • 实现打字句子的非侵入式解码。
  • 基于发表于《自然·神经科学》的研究成果。
  • 支持多种解码模型版本（v1 和 v2）。
  • 与 NeuralSet 和 NeuralTrain 基础设施集成。

相关

  • Dispatch
    Meta Brain2Qwerty: 非侵入式脑机文本通信

    Meta 的 Brain2Qwerty 研究展示了一种将脑电波转化为文本的非侵入式方法，利用先进的 AI 来改善运动障碍人士的沟通能力。

  • 项目
    braindecode/braindecode

    Braindecode 是一个 Python 工具箱，将深度学习模型应用于原始大脑信号数据（EEG/ECoG/MEG）。它提供了数据集加载器、预处理、几种现成的神经网络架构以及可视化工具，全部构建于 PyTorch 和 MNE-Python 之上。可通过 `pip install braindecode` 安装，主要目标用户为处理神经生理数据的神经科学家与机器学习研究人员。

  • 项目
    huggingface/sentence-transformers

    A framework for computing embeddings, retrieval, and reranking using state-of-the-art dense, sparse, and multi-vector encoder models.

  • 项目
    wenet-e2e/WeTextProcessing

    面向语音相关AI应用的生产就绪文本处理工具包，支持文本正则化与逆文本正则化，多语言支持。

  • Dispatch
    利用预训练语言模型检查点构建编码器-解码器模型 – Hugging Face 博客摘要

    Hugging Face 的这篇博客文章解释了如何使用预训练的 BERT、RoBERTa 或 GPT2 检查点来热启动编码器-解码器模型，表明这种方法可以在降低训练成本的同时，达到大型预训练 seq2seq 模型的性能水平。