openhome-dev/abilities

Open-source abilities for OpenHome agents.

解决的问题

语言模型无法仅通过对话完成所有事情——它无法获取实时数据、控制物理设备、播放音频或跨会话记忆。OpenHome Abilities通过提供现成的Python插件来解决这个问题,这些插件赋予语音助手这些新能力,因此你可以让它查看天气、播放播客或打开智能灯。

工作原理

Ability是一个Python插件,通常只是一个main.py文件,由语音触发词触发。OpenHome处理语音转文本、LLM、文本转语音和路由——你只需编写逻辑。插件使用CapabilityWorker对象来说话、聆听、调用LLM和存储文件。有四种能力类型:Skill(在触发词上运行一次)、Agent Controlled(代理决定何时运行)、Background Daemon(在会话期间循环)和Local(在DevKit硬件上运行)。仓库包含每种类型的入门模板、官方能力、社区贡献,以及一个自动化构建、测试和推送能力的CLI。

适用人群

希望为OpenHome代理构建自定义语音功能的开发者,或希望安装社区构建能力的用户。对于任何学习为语音AI系统创建插件的人来说,这也很有用,提供了模板和贡献指南来分享成果。

亮点

  • 由OpenHome团队维护的官方能力(天气、音乐、测验、网络搜索等)
  • 社区贡献的能力,合并前经过安全审查
  • 覆盖所有四种能力类型的入门模板,从基本循环到智能家居和本地硬件控制
  • 一个CLI,让你从终端创建、语音测试、推送和同步能力
  • 简单的贡献流程:fork、复制模板、构建、验证并打开拉取请求

相关

  • 项目
  • 项目
  • 项目
  • 项目