akdeb/ElatoAI

해결하는 문제

ElatoAI는 저렴한 ESP32 하드웨어를 사용하여 실시간 음성 AI 장치를 만들 수 있게 해줍니다. 고수준의 AI 음성 모델과 저전력 IoT 장치 사이의 격차를 메우며, 개발자들이 고가의 온보드 처리 성능이 필요 없이도 장시간, 낮은 지연, 자연스러운 대화가 가능한 물리적 객체(예: AI 장난감)를 구축할 수 있도록 합니다.

작동 방식

시스템은 AI 처리의 부담을 분산시키면서도 하드웨어를 가볍게 유지하기 위해 3계층 아키텍처를 사용합니다:

1. ESP32 IoT 클라이언트: 오디오 인터페이스 역할을 하며, 사용자 발화를 캡처하고 AI 응답을 재생합니다. 고품질 저대역폭 스트리밍을 위해 Opus 오디오 코덱을 사용합니다.
2. 에지 서버 함수: Deno Edge 또는 Cloudflare Workers에 배포되며, 보안 WebSocket 연결을 관리하고 ESP32와 다양한 AI 제공업체 간의 오디오 데이터를 라우팅합니다.
3. AI 모델 제공업체: 에지 서버는 OpenAI Realtime, Gemini Live, xAI Grok, Eleven Labs, Hume AI와 같은 최전방 음성 대 음성 API에 연결하여 응답을 생성합니다.

대상 사용자

Arduino 프레임워크를 사용하여 물리적 제품이나 DIY 전자 프로젝트에 고급 음성 AI를 통합하고자 하는 IoT 개발자, 하드웨어 해커, 크리에이터를 위한 것입니다.

주요 특징

• 광범위한 모델 지원: FastAPI 및 최상위 실시간 API의 네이티브 통합을 통해 100개 이상의 음성 AI 모델과 호환됩니다.
• 최적화된 오디오: 12kbps 및 48KHz 샘플링 레이트에서 높은 명확도를 유지하는 Opus 압축을 사용합니다.
• 낮은 지연: 에지 컴퓨팅을 통해 글로벌 왕복 지연을 2~3초로 유지합니다.
• 하드웨어 친화적: ESP32에서 음성 대 음성 AI를 실행할 때 PSRAM이 필요하지 않습니다.
• 포괄적인 도구 세트: 디바이스 관리, 볼륨 조절, AI 성격 커스터마이징이 가능한 Next.js 웹 앱이 포함되어 있습니다.