lovelyterry/SmartSpeaker
一个基于云端语音识别的智能控制设备,类似于天猫精灵,小爱同学。采用的芯片为stm32f407,wm8978,esp8266。
何を解決するか
このプロジェクトは、Amazon EchoやTmall Genieに似たスマートスピーカーを実装していますが、組み込みLinuxではなくマイコン(MCU)とFreeRTOSを使用しており、音声制御ハードウェアのための軽量なアプローチを示しています。
動作方法
システムはSTM32F407VET6をメインコントローラーとして使用し、WM8978を音声DA/ADCに、ESP8266をネットワーク接続に使用しています。短時間のゼロクロッシング率と音波エネルギーに基づくシンプルな音声活動検出(VAD)アルゴリズムを用いて、自動的に音声を録音します。録音後、音声ファイルはBaidu Cloudの音声認識サーバーに送信され処理され、返された認識結果に基づいてデバイスが動作を実行します。
対象ユーザー
組み込みシステム、MCUベースの音声認識、ハードウェアにクラウドベースのAIサービスを統合することに興味がある開発者やハッカー。
特徴
- MCUベースのアーキテクチャ:完全なLinux OSではなく、STM32F4とFreeRTOSに基づいて構築。
- クラウド連携:音声認識処理にBaidu Cloudを使用。
- VADの実装:自動録音用のカスタム音声活動検出アルゴリズムを含む。
- 拡張性:LEDの制御やSDカードからの音楽再生など、新しいコマンドやアクションを簡単に追加できるように設計されています。
関連
- プロジェクト
Colin-XKL/FeedCraftFeedCraftはオープンソースのGoサービスで、RSS/Atomフィードのミドルウェアとして機能します。フル記事の取得、AI駆動の要約・翻訳・コンテンツクリーニングを、任意のOpenAI互換LLMで実行し、新しいRSSフィードとして再公開できます。ユーザーは**AtomCraft**(単一ステップ)を定義し、それを**FlowCraft**(パイプライン)に組み合わせ、**レシピ**として保存してカスタムRSS URLを公開できます。Docker-composeベースのデプロイで、RedisキャッシュとJavaScript重視サイト向けのヘッドレスブラウザサービスをオプションで利用可能。GPL-v3ライセンス。
- プロジェクト
AIGAnimation/CAMDMユーザーの制御信号とスタイルプリセットに基づいて、高品質で多様な動きをリアルタイムで生成する、拡散モデルを活用したキャラクターアニメーションシステム。
- プロジェクト
ACDSLab/MPPI-GenericNVIDIA GPU上で高パフォーマンスな確率的軌道最適化を可能にする、Model Predictive Path Integral (MPPI) 制御のためのC++/CUDAヘッダーオンリーライブラリ。
- プロジェクト
Oqura-ai/deepdocdeepdoc は、ローカルの PDF、ドキュメント、スライド、画像、テキストファイルのフォルダを、構造化された Markdown レポートに変換する Python ツールです。コンテンツを Qdrant でインデックス化し、LLM でレポートのアウトラインを計画。並列で動作するリサーチエージェントがインデックスを照会し、TypeSafe の **Jev** モデルで結果をフィルタリング、ライティング用 LLM で各セクションを合成します。すべての処理はオフデバイスで行われ、`configuration.py` で高度にカスタマイズ可能です。