akdeb/ElatoAI

解决的问题

ElatoAI 允许使用经济实惠的 ESP32 硬件创建实时语音 AI 设备。它弥合了高级 AI 语音模型与低功耗物联网设备之间的差距，使开发者能够构建物理对象（如 AI 玩具），在无需昂贵的板载处理能力的情况下，实现长时间、低延迟、自然的对话。

工作原理

该系统采用三层架构，在保持硬件轻量化的同时处理 AI 处理的繁重任务：

1. ESP32 IoT 客户端：作为音频接口，使用 Opus 音频编解码器捕获用户语音并播放 AI 响应，实现高质量、低带宽的流媒体传输。
2. 边缘服务器函数：部署在 Deno Edge 或 Cloudflare Workers 上，负责管理安全的 WebSocket 连接，并在 ESP32 与各种 AI 提供商之间路由音频数据。
3. AI 模型提供商：边缘服务器连接到前沿的语音到语音 API，如 OpenAI Realtime、Gemini Live、xAI Grok、Eleven Labs 和 Hume AI，以生成响应。

适用人群

专为希望使用 Arduino 框架将先进语音 AI 集成到物理产品或 DIY 电子项目中的 IoT 开发者、硬件黑客和创作者设计。

主要亮点

• 广泛的模型支持：通过 FastAPI 和顶级实时 API 的原生集成，兼容超过 100 个语音 AI 模型。
• 优化的音频：使用 Opus 压缩，在 12kbps 和 48KHz 采样率下保持高清晰度。
• 低延迟：利用边缘计算实现 2-3 秒的全球往返延迟。
• 硬件友好：运行语音到语音 AI 时，ESP32 无需 PSRAM。
• 全面的工具链：包含一个 Next.js 网页应用，用于设备管理、音量控制和 AI 人格自定义。