サブボーカルスマートグラス、RFセンシングによる無音音声のテキスト化を実現

サブボーカルの核心的革新:無音音声を解読するRFセンシンググラス

サブボーカルは、低出力の電波を放射し、舌、唇、口蓋の動きによる微細な変調を捉え、それらの信号をほぼ会話速度でテキストに変換するスマートグラスを開発した。 このアプローチはマイクを不要とし、口を閉じた状態でも機能し、公共の場や騒がしい環境での騒々しい音声入力に取って代わることを目指している。


ハードウェアの仕組み

  • 無線周波数レーダー: グラスには、Bluetoothに似たRF信号を継続的に発信する小型アンテナが内蔵されている。電波が口腔内を通過する際、舌、唇、軟口蓋の形状によって乱される。
  • 低ノイズセンシングスタック: サブボーカルは、汗、周囲のRF源、電気ノイズからの干渉を抑えながら、微小な振幅と位相の変化を検出するカスタムRFフロントエンドを設計した。
  • 内蔵アンテナ形状: 初期プロトタイプでは顔にテープで電極を貼り付けていたが、最終設計ではアンテナをフレームに統合し、調音器官との一貫した電界の重なりを確保している。
  • 安全性への配慮: 放射出力は消費者向けデバイスの規制SAR限度をはるかに下回るが、チームは長期的な曝露研究の必要性を認めている。

機械学習パイプライン

  • 大規模データ収集: 創業者らは数十人の参加者を募集し、グラスを着用してプロンプトを読み上げてもらい、音声テキストにリンクされたRFシグネチャのマルチユーザーデータセットを作成した。
  • 基盤モデルの事前学習: このデータセットで大規模ニューラルネットワークを訓練し、生のRF摂動から音素レベルの表現、さらに完全なテキストへのマッピングを学習させた。
  • ユーザー間の一般化: データセットを拡大することでエラー率が劇的に低下し、大規模な事前学習が解剖学的変動に対処する主要な手段であることが実証された。
  • 推論場所: 現在のプロトタイプはセンサーデータをクラウドサービスにストリーミングしてデコードするが、チームはプライバシー重視のユースケース向けにオンデバイス推論を検討している。

性能のハイライト

  • 速度: システムは自然な音声速度で入力を処理し、リアルタイムのディクテーションを可能にする。
  • 精度: 公開デモでは、20文のキャリブレーションで低いエラー率を達成した(創業者らは短いキャリブレーション後に約5%の単語エラーを報告)。
  • 無音音声と「内部音声」: ユーザーは口を閉じて言葉を形作るか、最小限の調音で「内部音声」を行うことができる。後者は信号が弱く、より長いキャリブレーションが必要になる場合があるが、練習により性能が向上するとチームは報告している。

RFが他のモダリティより優れている理由

  • EMGの限界: 表面筋電図による初期の試みは、汗、電気的干渉、顔面電極の非実用性により失敗した。
  • カメラベースの読唇術: 視覚的アプローチは低照度や遮蔽された条件で苦戦し、プライバシーの懸念も生じる。RFは軟組織を透過し、見通し線を必要としない。
  • 骨伝導マイク: これらは依然として音響漏れを捉え、背景ノイズに対して堅牢性が低い。

コミュニティのフィードバックと未解決の質問

「この分野の製品がもっと増えるのを見るのがとても楽しみです…音声テキスト変換は家では機能しますが、公共の場では機能しません。」 – joshstrange

「健康リスクはありますか?SAR限度はどうですか?」 – nomel

「同じ技術をグラスではなくラップトップに取り付けるリグで実装できますか?」 – tomhow

「これはlipflowのようなオープンソースの読唇プロジェクトとどう比較しますか?」 – eranation

「システムはクラウドにデータを送信せずにオフラインで動作しますか?」 – aftbit

これらのコメントは、3つの繰り返し発生するテーマを浮き彫りにしている:

  1. フォームファクターの懸念 – 多くのユーザーは既存のグラスへの取り付けや、グラス以外のデバイスを好む。
  2. プライバシーと健康 – RF曝露、データ送信、オフライン動作に関する質問は未解決のままである。
  3. 代替手段とのベンチマーク – コミュニティは定量的な精度指標と、カメラベースまたはEMGソリューションとの直接比較を熱望している。

市場での位置付けとロードマップ

  • ターゲットユースケース: 図書館、オフィス、公共交通機関での静かなディクテーション。RSIや発話障害のあるユーザーへのアクセシビリティ。AIアシスタントとの統合によるハンズフリー操作の可能性。
  • 製品タイムライン: 同社はデータセットを拡大しハードウェアを改良した後、2027年第1四半期に最初の量産バッチを出荷する予定。
  • 予約注文の詳細: 限定500台が200ドル割引で利用可能。創業者らは供給が限られ需要が高いと述べている。

未解決の課題と今後の方向性

  • フォームファクターの多様化: イヤーバッドやストラップマウントのアンテナを探ることで、グラスを着用しないユーザーへの採用を広げられる可能性がある。
  • 遅延の削減: エンドツーエンドの遅延を250ms未満に達成できれば、会話での使用やリアルタイムの音声変換デモが可能になる。
  • 多言語サポート: 英語以外の言語(例:アラビア語)へのモデル拡張には、追加のラベル付きデータが必要。
  • 規制当局の承認: 広範な消費者向けリリースには、正式な医療機器認証とSARコンプライアンス試験が必要。
  • アクセシビリティへの影響: 発話障害や異なる調音パターンを持つユーザー向けにシステムを調整することで、大きな市場を開拓できる可能性がある。

結論

サブボーカルは、低出力RFレーダーと大規模AI事前学習を組み合わせることで、無音の口の動きをテキストに確実にデコードでき、騒々しい音声入力に代わる魅力的な選択肢を提供することを実証している。フォームファクターの受け入れ、プライバシー、規制順守などの工学的課題は残るものの、このプロジェクトは真に無音のヒューマンコンピューターインタラクションへの顕著な一歩を示している。

Sources

関連