facebookresearch/brain2qwerty

Non-invasive decoding of typed sentences from MEG and EEG brain recordings using a convolutional encoder, transformer, and character-level language model.

何を解決するか

Brain2Qwerty は、非侵襲的脳波記録から自然な文章を復元する課題に対処し、人がタイピングしている際に脳活動から同時にテキストを再構成することを可能にします。

動作方法

このプロジェクトは、非侵襲的脳波記録（特に MEG スキャナ）を使用して脳活動を解釈し、それをタイピングされた文章に変換します。この復元プロセスを実装するためのコードが v1 と v2 の2つのバージョンで提供されています。

対象ユーザー

脳-コンピュータインターフェース（BCI）や人間の脳活動をテキストに変換する復元技術に興味を持つ神経科学および AI 分野の研究者。

特徴

  • タイピングされた文章の非侵襲的復元。
  • Nature Neuroscience に掲載された研究に基づく。
  • 復元モデルの複数バージョン（v1 および v2）をサポート。
  • NeuralSet および NeuralTrain インフラストラクチャと統合可能。

関連

  • Dispatch
    Meta Brain2Qwerty: 非侵襲的な脳からテキストへの通信

    MetaのBrain2Qwerty研究は、高度なAIを利用して脳波をテキストに翻訳する非侵襲的な手法を示しており、運動障害を持つ人々の通信を改善することを目指しています。

  • プロジェクト
    braindecode/braindecode

    Braindecode は、生の脳信号データ（EEG/ECoG/MEG）に深層学習モデルを適用するための Python ツールボックスです。データセットローダー、前処理、いくつかの既製ニューラルネットワークアーキテクチャ、および可視化ユーティリティを提供し、これらはすべて PyTorch と MNE-Python の上に構築されています。`pip install braindecode` でインストール可能で、神経生理学的データを扱う神経科学者や機械学習の研究者を対象としています。

  • プロジェクト
    huggingface/sentence-transformers

    A framework for computing embeddings, retrieval, and reranking using state-of-the-art dense, sparse, and multi-vector encoder models.

  • プロジェクト
    wenet-e2e/WeTextProcessing

    音声関連AIアプリケーション向けのプロダクション対応テキスト処理ツールキット。テキスト正規化と逆テキスト正規化をサポートし、複数言語に対応。

  • Dispatch
    Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models – Hugging Face Blog Summary

    Hugging Faceのブログ記事では、事前学習済みのBERT、RoBERTa、またはGPT2のチェックポイントを使用してエンコーダー・デコーダーモデルをウォームスタートする方法を説明しており、このアプローチがトレーニングコストを削減しながら、大規模な事前学習済みseq2seqモデルのパフォーマンスに匹敵することを示しています。