espressif/esp-skainet
Espressif intelligent voice assistant
ESP‑Skainet – 用於 ESP32 的裝置端語音助理 SDK
簡介 – ESP‑Skainet 是樂鑫科技推出的開源軟體堆疊，讓您能在 ESP32 系列微控制器（特別是 ESP32‑S3）上直接執行喚醒詞偵測與離線語音指令識別。它整合了輕量級喚醒詞引擎 (WakeNet)、靈活的指令識別模型 (MultiNet)，以及包含回音消除、VAD、雜訊抑制等功能的音訊前端處理器。
重要性 – 現代語音助理通常依賴雲端運算，但許多物聯網裝置需要低延遲、保護隱私且具備電源效率的語音處理能力。ESP‑Skainet 提供了一套完整、可直接燒錄的解決方案，能適應 ESP32 晶片上僅有的數百 KB RAM 與 Flash 空間。
核心組件
| 組件 | 角色 | 顯著規格 |
|---|---|---|
| WakeNet | 常駐喚醒詞偵測器 | 偵測自訂或內建詞彙（如“Hi, Lexin”、“Alexa”、中文短語）；在 ESP32‑S3 上運行僅需 < 100 KB RAM |
| MultiNet | 離線語音指令識別器 | 支援多達 200 個英文/中文指令，無需重新訓練模型；在配備八線 SPI PSRAM 的 ESP32‑S3 上運行以獲得更高速度 |
| 音訊前端 (AFE) | 麥克風串流預處理 | 包含聲學回音消除、語音活動偵測、盲源分離、雜訊抑制；已通過 Amazon Alexa Built‑in 裝置認證 |
典型硬體
您需要一塊包含音訊輸入（麥克風或 I²S）的 ESP32 開發板。README 列出了多種支援的套件，例如 ESP32‑Korvo、ESP32‑S3‑Korvo‑1/2、 ESP‑BOX、ESP32‑S3‑EYE、ESP32‑P4‑Function‑EV。
入門指南（快速摘要）
- 複製儲存庫
git clone https://github.com/espressif/esp-skainet.git - 安裝 ESP‑IDF (v4.4 或 v5.0) 並設定
IDF_PATH。 - 選擇範例 –
examples/wake_word_detection資料夾是最簡單的起點。 - 建置與燒錄
cd examples/wake_word_detection idf.py flash monitor - 自訂 – 執行
idf.py menuconfig以新增您自己的喚醒詞或指令短語。
您可以建構的應用
- 語音控制智慧家庭裝置 – 透過幾個語音指令開關燈光、空調等。
- 常駐語音助理 – 偵測喚醒詞後在本地處理指令，將使用者資料保留在裝置端。
- 穿戴式裝置或機器人的嵌入式語音 UI – 得益於極小的記憶體佔用與雙麥克風 AFE。
- AI 邊緣運算教育原型套件 – 範例與文件讓學生能輕鬆實驗裝置端語音 AI。
文件與支援
總結
ESP‑Skainet 是一個真正的生產級 AI/ML 專案，將喚醒詞偵測與指令識別帶入低成本微控制器。對於任何想在 ESP32 硬體上建構注重隱私、離線語音介面的人來說，它都非常實用。
相關
- 專案
- 專案
- 專案
- 專案