openhome-dev/abilities

解決する問題

言語モデルは会話だけではすべてを実行できません。ライブデータの取得、物理デバイスの制御、オーディオ再生、セッションをまたいだ記憶ができません。OpenHome Abilitiesは、音声アシスタントにこれらの新しい力を与える既製のPythonプラグインを提供することでこれを解決し、天気の確認、ポッドキャストの再生、スマートライトのオンなどを依頼できるようにします。

仕組み

アビリティはPythonプラグインで、通常はmain.pyファイルであり、音声トリガーワードによって起動されます。OpenHomeは音声認識、LLM、音声合成、ルーティングを処理します。あなたはロジックを書くだけです。プラグインはCapabilityWorkerオブジェクトを使用して、発話、リスニング、LLM呼び出し、ファイル保存を行います。4つのアビリティタイプがあります：Skill（トリガーワードで1回実行）、Agent Controlled（エージェントが実行タイミングを決定）、Background Daemon（セッション中にループ）、Local（DevKitハードウェアで実行）。リポジトリには各タイプのスターターテンプレート、公式アビリティ、コミュニティ貢献、そしてアビリティの構築・テスト・プッシュを自動化するCLIが含まれています。

対象読者

OpenHomeエージェント用のカスタム音声機能を構築したい開発者、またはコミュニティ製アビリティをインストールしたいユーザー。音声AIシステム用のプラグイン作成を学びたい人にも役立ち、テンプレートと結果を共有するための貢献ガイドが用意されています。

ハイライト

• OpenHomeチームが保守する公式アビリティ（天気、音楽、クイズ、ウェブ検索など）
• マージ前にセキュリティレビューを受けるコミュニティ貢献アビリティ
• 基本的なループからスマートホームやローカルハードウェア制御まで、4つのアビリティタイプすべてをカバーするスターターテンプレート
• ターミナルからアビリティを作成、音声テスト、プッシュ、同期できるCLI
• シンプルな貢献プロセス：フォーク、テンプレートのコピー、ビルド、検証、プルリクエストの作成