espressif/esp-brookesia

何を解決するか

ESP-Brookesia は、AIoT（AI + IoT）およびHMI（人間-機械インターフェース）製品の開発を簡素化することを目的としたフルスタック開発プラットフォームです。組み込みデバイス上でハードウェア抽象化、AI機能、ユーザーインターフェースを統合する複雑さに対処するために、モジュール式でコンポーネントベースのアーキテクチャを提供します。

動作方法

このプラットフォームは、ESP-IDFコンポーネントとして複数のレイヤーに機能を構成しています：

• ハードウェア抽象化（HAL）：デバイスアクセスを統一し、実際のESPデバイスとPCシミュレーションの両方をサポートすることで、アプリケーションを特定のハードウェアから分離します。
• サービスフレームワーク：サービス登録、関数呼び出し、イベントの発行を管理し、LLMの呼び出しをMCP（Model Context Protocol）経由でブリッジする機能も備えています。
• ランタイムとGUI：ELF、JS、Lua、WASMの複数のランタイムをサポートし、LVGLで実装されたJSON駆動型GUIモデルを用いて宣言型のインターフェース設計を可能にします。
• システムフレームワーク：GUI、ランタイム、サービスを製品レベルのシステムに統合し、アプリケーションのライフサイクル管理を実現します。
• AI統合：OpenAI、Coze、XiaoZhi向けの特定のアダプタとエージェントマネージャーを提供し、視覚的フィードバック用のAI駆動型エモートおよびアニメーション管理もサポートします。

対象ユーザー

スマートホームデバイス、人間型AIアシスタント、およびスクリーンベースのインタラクションとAIエージェント統合を必要とするその他の組み込みAI製品を開発する開発者向けです。

主な特徴

• 複数ランタイム対応：JavaScript、Lua、WebAssembly、またはELFでアプリを実行可能。
• AIエージェントエコシステム：主要AIプラットフォーム向けの組み込みアダプタと、ライフサイクルおよび状態管理用のエージェントマネージャーを備えています。
• MCPブリッジ：LLMがBrookesiaのサービス関数をツールとして呼び出せるようにするユーティリティ。
• PCシミュレーション：LinuxおよびWebAssemblyシミュレーションにより、開発中のハードウェア依存を低減します。
• 宣言型GUI：インターフェース設計をバックエンドロジックから分離するためにJSON UIモデルを使用します。