espressif/esp-brookesia

解決的問題

ESP-Brookesia 為 AIoT（人工智慧物聯網）與 HMI（人機介面）產品提供一個全端開發平台。透過將硬體與軟體解耦，簡化複雜嵌入式裝置的建置，讓開發者無需重寫核心邏輯，即可在不同硬體形態與互動介面中執行應用程式。

作法原理

此平台由多個架構層級的 ESP-IDF 元件組成：

• 硬體抽象層 (HAL)：統一裝置存取，支援真實 ESP 裝置與 PC 模擬，加速開發流程。
• 服務框架：基於外掛的函式路由與事件管理機制，包含特定橋接器（MCP），用於將大型語言模型（LLM）能力連結至裝置功能。
• 執行環境與 GUI：支援多種應用執行環境（JavaScript、Lua、WebAssembly、ELF），並採用 JSON 驅動的宣告式 GUI 模型。
• 系統框架：整合 GUI、執行環境與服務，管理應用的完整生命週期與系統狀態。
• 應用生態系：實作應用程式商店機制，支援在裝置上發布、分發與安裝應用。

適用對象

專為需要以可擴展方式管理硬體差異並部署動態應用的 AI 驅動 IoT 裝置與智慧介面開發者設計。

主要亮點

• 多執行環境支援：可執行以 JS、Lua、WASM 或 ELF 編寫的應用程式。
• AI 整合：提供 OpenAI、Coze、XiaoZhi 的專用代理管理器與適配器，以及支援擬人化互動的 AI 驅動表情管理。
• MCP 橋接器：可將裝置服務註冊為 Model Context Protocol (MCP) 工具，以供 LLM 呼叫。
• PC 模擬：可在實際硬體部署前，於 PC 上進行驗證與開發。