skye-harris/hass_local_openai_llm
Home Assistant LLM integration for local OpenAI-compatible services (llamacpp, vllm, etc)
解決する問題
Home Assistantの組み込みの会話エージェントは特定のプロバイダーに紐づいています。この統合により、ローカル(Ollama、llama.cpp、LM Studio)またはクラウド(DeepSeek、OpenRouter、Gemini)を問わず、OpenAI互換のLLMサーバーをプラグインできます。ストリーミング、画像入力、サーバー固有の設定などの不足している機能を追加します。
仕組み
HACSまたは手動で統合をインストールし、Home AssistantのUIでLLMサーバーのURLを指定して設定します。設定後、会話エージェントとAIタスクエンティティが作成され、自動化や音声アシスタントで使用できます。サーバーごとのオプション(例:llama.cppのサンプリングパラメータ、DeepSeekの思考モード、vLLMのトークン予算)と、Weaviateベクトルデータベースをクエリして関連コンテキストをプロンプトに注入する実験的なRAGモードが含まれます。
対象ユーザー
アシスタントの頭脳として、自己ホストまたはクラウドの任意のLLMを使用したいHome Assistantのパワーユーザー。特に、ローカル推論サーバーを実行し、Home Assistantの音声・自動化機能と緊密に統合したい人に役立ちます。
ハイライト
- OpenAI互換の任意のAPIエンドポイントで動作(Ollama、llama.cpp、vLLM、OpenRouter、DeepSeekなど)
- 会話エージェント向けのストリーミング応答とTTSストリーミング
- ローカルサーバー向けのオプションのAPIキー
- 推論モデルから思考タグを自動的に除去
- サーバーごとの設定オプション(DeepSeek、llama.cpp、LocalAI、vLLM)
- Weaviateを使用した実験的な検索拡張生成(RAG)
- AIタスクエンティティ向けの画像入力と画像生成サポート
- 高度な調整のためのカスタムHTTPヘッダーとリクエストボディパラメータ
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト