akdeb/ElatoAI

解決する課題

ElatoAIは、手頃な価格のESP32ハードウェアを使用してリアルタイム音声AIデバイスを構築できるようにします。高レベルのAI音声モデルと低消費電力のIoTデバイスの間のギャップを埋め、開発者が物理的なオブジェクト（AIおもちゃなど）を構築できるようにし、高価なオンボード処理能力を必要とせずに、長時間・低遅延・自然な会話が可能になります。

動作方法

このシステムは、AI処理の重い部分を処理しつつ、ハードウェアを軽量化するための3層アーキテクチャを使用しています：

1. ESP32 IoTクライアント：音声インターフェースとして機能し、ユーザーの発話の収集とAIの応答の再生を担当。高品質で低帯域幅のストリーミングのためにOpus音声コーデックを使用します。
2. エッジサーバー関数：Deno EdgeまたはCloudflare Workersにデプロイされ、安全なWebSocket接続を管理し、ESP32とさまざまなAIプロバイダー間の音声データをルーティングします。
3. AIモデルプロバイダー：エッジサーバーは、OpenAI Realtime、Gemini Live、xAI Grok、Eleven Labs、Hume AIなどの最先端の音声対音声APIに接続して応答を生成します。

対象ユーザー

IoT開発者、ハードウェアハッカー、Arduinoフレームワークを使用して物理製品やDIY電子工作プロジェクトに高度な音声AIを統合したいクリエイター向けに設計されています。

特徴

• 広範なモデル対応：FastAPIおよびトップクラスのリアルタイムAPIのネイティブ統合を通じて、100以上の音声AIモデルと互換性があります。
• 最適化された音声：12kbps、48KHzサンプリングレートで高精細な音声を維持するOpus圧縮を使用。
• 低遅延：エッジコンピューティングにより、グローバルな往復遅延を2〜3秒に抑えることができます。
• ハードウェアに優しい：ESP32上で音声対音声AIを実行する際にPSRAMを必要としません。
• 包括的なツールキット：デバイス管理、音量制御、AIの個性カスタマイズが可能なNext.jsウェブアプリを含んでいます。