espressif/esp-brookesia

해결하는 문제

ESP-Brookesia는 AIoT(AI + IoT) 및 HMI(사용자-기계 인터페이스) 제품 개발을 간소화하기 위해 설계된 풀스택 개발 플랫폼입니다. 이는 임베디드 장치에서 하드웨어 추상화, AI 기능, 사용자 인터페이스를 통합하는 복잡성을 해결하기 위해 모듈식이고 컴포넌트 기반의 아키텍처를 제공합니다.

작동 방식

이 플랫폼은 여러 계층에 걸쳐 ESP-IDF 컴포넌트로 기능을 구성합니다:

• 하드웨어 추상화(HAL): 장치 접근을 통합하고 실제 ESP 장치와 PC 시뮬레이션 모두를 지원하여 애플리케이션을 특정 하드웨어에서 분리합니다.
• 서비스 프레임워크: 서비스 등록, 함수 호출, 이벤트 발행을 관리하며, LLM 호출을 MCP(Model Context Protocol)를 통해 브리지하는 기능도 포함합니다.
• 런타임 및 GUI: ELF, JS, Lua, WASM 등 여러 런타임을 지원하고, LVGL로 구현된 JSON 기반 GUI 모델을 사용해 선언형 인터페이스 설계를 가능하게 합니다.
• 시스템 프레임워크: GUI, 런타임, 서비스를 제품 수준의 시스템으로 통합하고 앱 라이프사이클 관리를 제공합니다.
• AI 통합: OpenAI, Coze, XiaoZhi용 전용 어댑터와 에이전트 매니저를 제공하며, 시각적 피드백을 위한 AI 기반 이모티콘 및 애니메이션 관리도 지원합니다.

대상 사용자

스크린 기반 상호작용과 AI 에이전트 통합이 필요한 스마트 홈 기기, 인체형 AI 어시스턴트, 기타 임베디드 AI 제품을 개발하는 개발자들을 위한 것입니다.

주요 특징

• 다중 런타임 지원: JavaScript, Lua, WebAssembly 또는 ELF에서 앱을 실행할 수 있습니다.
• AI 에이전트 생태계: 주요 AI 플랫폼용 내장 어댑터와 라이프사이클 및 상태 관리를 위한 에이전트 매니저를 제공합니다.
• MCP 브리지: LLM이 Brookesia 서비스 함수를 도구처럼 호출할 수 있도록 해주는 유틸리티입니다.
• PC 시뮬레이션: Linux 및 WebAssembly 시뮬레이션을 통해 개발 중 하드웨어 의존도를 줄입니다.
• 선언형 GUI: 인터페이스 설계를 백엔드 로직에서 분리하기 위해 JSON UI 모델을 사용합니다.