espressif/esp-skainet

ESP‑Skainet – 用于 ESP32 的设备端语音助手 SDK

简介 – ESP‑Skainet 是乐鑫科技推出的开源软件堆栈，让您能在 ESP32 系列微控制器（特别是 ESP32‑S3）上直接执行唤醒词检测与离线语音指令识别。它整合了轻量级唤醒词引擎 (WakeNet)、灵活的指令识别模型 (MultiNet)，以及包含回声消除、VAD、噪声抑制等功能的音频前端处理器。

重要性 – 现代语音助手通常依赖云端运算，但许多物联网设备需要低延迟、保护隐私且具备电源效率的语音处理能力。ESP‑Skainet 提供了一套完整、可直接烧录的解决方案，能适应 ESP32 芯片上仅有的数百 KB RAM 与 Flash 空间。

---

核心组件

组件	角色	显著规格
WakeNet	常驻唤醒词检测器	检测自定义或内置词汇（如“Hi, Lexin”、“Alexa”、中文短语）；在 ESP32‑S3 上运行仅需 < 100 KB RAM
MultiNet	离线语音指令识别器	支持多达 200 个英文/中文指令，无需重新训练模型；在配备八线 SPI PSRAM 的 ESP32‑S3 上运行以获得更高速度
音频前端 (AFE)	麦克风流预处理	包含声学回声消除、语音活动检测、盲源分离、噪声抑制；已通过 Amazon Alexa Built‑in 设备认证

---

典型硬件

您需要一块包含音频输入（麦克风或 I²S）的 ESP32 开发板。README 列出了多种支持的套件，例如 ESP32‑Korvo、ESP32‑S3‑Korvo‑1/2、 ESP‑BOX、ESP32‑S3‑EYE、ESP32‑P4‑Function‑EV。

---

入门指南（快速摘要）

1. 克隆仓库

   git clone https://github.com/espressif/esp-skainet.git
   

2. 安装 ESP‑IDF (v4.4 或 v5.0) 并设置 IDF_PATH。
3. 选择示例 – examples/wake_word_detection 文件夹是最简单的起点。
4. 构建与烧录

   cd examples/wake_word_detection
   idf.py flash monitor
   

5. 自定义 – 执行 idf.py menuconfig 以添加您自己的唤醒词或指令短语。

---

您可以构建的应用

• 语音控制智能家居设备 – 通过几个语音指令开关灯光、空调等。
• 常驻语音助手 – 检测唤醒词后在本地处理指令，将用户数据保留在设备端。
• 可穿戴设备或机器人的嵌入式语音 UI – 得益于极小的内存占用与双麦克风 AFE。
• AI 边缘计算教育原型套件 – 示例与文档让学生能轻松实验设备端语音 AI。

---

文档与支持

• 详细引擎文档：WakeNet 与 MultiNet。
• 音频前端指南：AFE。
• GitHub 上的问题追踪器，用于报告错误或功能请求。
• 链接至主要 ESP‑IDF 仓库的贡献指南。

---

总结

ESP‑Skainet 是一个真正的生产级 AI/ML 项目，将唤醒词检测与指令识别带入低成本微控制器。对于任何想在 ESP32 硬件上构建注重隐私、离线语音接口的人来说，它都非常实用。