espressif/esp-skainet

ESP‑Skainet – ESP32向けオンデバイス音声アシスタントSDK

概要 – ESP‑Skainetは、ESP32シリーズのマイクロコントローラ（特にESP32‑S3）上で、ウェイクワード検出とオフライン音声コマンド認識を直接実行できるようにするEspressifのオープンソースソフトウェアスタックです。小型のウェイクワードエンジン（WakeNet）、柔軟なコマンド認識モデル（MultiNet）、およびエコーキャンセル、VAD、ノイズ抑制などを実行するオーディオフロントエンドを統合しています。

重要性 – 現代の音声アシスタントは通常クラウド上で動作しますが、多くのIoTデバイスには低遅延でプライバシーを保護し、電力効率の良い音声処理が必要です。ESP‑Skainetは、ESP32チップで利用可能な数百KBのRAMとFlashに収まる、すぐにフラッシュ可能な完全なソリューションを提供します。

主要コンポーネント

コンポーネント	役割	主な仕様
WakeNet	常時監視ウェイクワード検出器	「Hi, Lexin」、「Alexa」、中国語フレーズなどのカスタムまたは組み込みワードを検出。ESP32‑S3上で100 KB未満のRAMで動作
MultiNet	オフライン音声コマンド認識器	モデルの再トレーニングなしで最大200の英語/中国語コマンドをサポート。高速化のためにオクタSPI PSRAMを搭載したESP32‑S3上で動作
オーディオフロントエンド (AFE)	マイクストリームの事前処理	音響エコーキャンセル、音声活動検出、ブラインドソース分離、ノイズ抑制を含む。Amazon Alexa Built‑inデバイス向けに認定済み

推奨ハードウェア

オーディオ入力（マイクまたはI²S）を備えたESP32開発ボードが必要です。READMEには、ESP32‑Korvo、ESP32‑S3‑Korvo‑1/2、ESP‑BOX、ESP32‑S3‑EYE、ESP32‑P4‑Function‑EVなど、サポートされているいくつかのキットが記載されています。

はじめに（クイックサマリー）

リポジトリのクローン

git clone https://github.com/espressif/esp-skainet.git

ESP‑IDF (v4.4またはv5.0) をインストールし、IDF_PATHを設定します。
サンプルを選択 – examples/wake_word_detection フォルダが最もシンプルです。

ビルドとフラッシュ

cd examples/wake_word_detection
idf.py flash monitor

カスタマイズ – idf.py menuconfig を実行して、独自のウェイクワードやコマンドフレーズを追加します。

構築可能なアプリケーション

音声制御スマートホームデバイス – いくつかの音声コマンドで照明やエアコンなどをオン/オフ。
常時起動アシスタント – ウェイクワードを待ち受け、コマンドをローカルで処理することでユーザーデータをデバイス内に保持。
ウェアラブルやロボット向けの組み込み音声UI – 小さなメモリフットプリントと2マイクAFEにより実現。
AIエッジ教育用プロトタイプキット – サンプルとドキュメントにより、学生がオンデバイス音声AIを簡単に実験可能。

ドキュメントとサポート

詳細なエンジンドキュメント: WakeNet および MultiNet。
オーディオフロントエンドガイド: AFE。
バグや機能リクエストのためのGitHubイシュートラッカー。
メインのESP‑IDFリポジトリにリンクされたコントリビューションガイド。

結論

ESP‑Skainetは、ウェイクワード検出とコマンド認識を低コストのマイクロコントローラにもたらす、本格的なプロダクショングレードのAI/MLプロジェクトです。ESP32ハードウェア上でプライバシーを最優先したオフライン音声インターフェースを構築したいすべての人にとって有用です。