espressif/esp-brookesia

ESP-Brookesia is a human-machine interaction development framework designed for AIoT devices.

解决的问题

ESP-Brookesia 为 AIoT(人工智能物联网)和 HMI(人机交互)产品提供了一个全栈开发平台。通过将硬件与软件解耦,简化了复杂嵌入式设备的创建,使开发者无需重写核心逻辑,即可在不同硬件形态和交互界面中运行应用程序。

工作原理

该平台由多个架构层级的 ESP-IDF 组件构成:

  • 硬件抽象层 (HAL):统一设备访问,支持真实 ESP 设备和 PC 模拟,加速开发流程。
  • 服务框架:基于插件的函数路由与事件管理机制,包含特定桥接器(MCP),用于将大语言模型(LLM)能力连接到设备功能。
  • 运行时与 GUI:支持多种应用运行时(JavaScript、Lua、WebAssembly、ELF),并采用 JSON 驱动的声明式 GUI 模型。
  • 系统框架:整合 GUI、运行时和服务,管理应用的完整生命周期与系统状态。
  • 应用生态:实现应用商店机制,支持在设备上发布、分发和安装应用。

适用人群

专为需要以可扩展方式管理硬件差异并部署动态应用的 AI 驱动 IoT 设备和智能界面开发者设计。

主要亮点

  • 多运行时支持:支持运行 JS、Lua、WASM 或 ELF 编写的应用。
  • AI 集成:提供 OpenAI、Coze、XiaoZhi 的专用代理管理器和适配器,以及支持拟人化交互的 AI 驱动表情管理。
  • MCP 桥接器:可将设备服务注册为 Model Context Protocol (MCP) 工具,以供 LLM 调用。
  • PC 模拟:可在物理硬件部署前,于 PC 上进行验证与开发。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目