skye-harris/hass_local_openai_llm
Home Assistant LLM integration for local OpenAI-compatible services (llamacpp, vllm, etc)
解决的问题
Home Assistant 内置的对话代理与特定提供商绑定。此集成允许你接入任何 OpenAI 兼容的 LLM 服务器,无论是本地的(Ollama、llama.cpp、LM Studio)还是云端的(DeepSeek、OpenRouter、Gemini)。它添加了流式响应、图像输入和服务器特定设置等缺失的功能。
工作原理
你可以通过 HACS 或手动安装该集成,然后在 Home Assistant 界面中通过指向你的 LLM 服务器的 URL 进行配置。设置完成后,它会创建对话代理和 AI 任务实体,你可以在自动化中、以及配合语音助手使用它们。它包括每服务器选项(例如 llama.cpp 的采样参数、DeepSeek 的思考模式、vLLM 的令牌预算)以及一个实验性的 RAG 模式,用于查询 Weaviate 向量数据库,将相关上下文注入提示词中。
适用人群
希望使用自托管或云端 LLM 作为助手大脑的 Home Assistant 高级用户。特别适合那些运行本地推理服务器并希望与 Home Assistant 的语音和自动化功能紧密集成的人。
亮点
- 适用于任何 OpenAI 兼容的 API 端点(Ollama、llama.cpp、vLLM、OpenRouter、DeepSeek 等)
- 支持流式响应和 TTS 流式传输,适用于对话代理
- 本地服务器的可选 API 密钥
- 自动去除推理模型中的思考标签
- 每服务器配置选项(DeepSeek、llama.cpp、LocalAI、vLLM)
- 使用 Weaviate 的实验性检索增强生成(RAG)
- 支持 AI 任务实体的图像输入和图像生成
- 支持自定义 HTTP 头和请求体参数,用于高级调整
相关
- 项目
- 项目
- 项目
- 项目