skye-harris/hass_local_openai_llm

해결하는 문제

Home Assistant의 내장 대화 에이전트는 특정 제공업체에 묶여 있습니다. 이 통합을 통해 로컬(Ollama, llama.cpp, LM Studio) 또는 클라우드(DeepSeek, OpenRouter, Gemini) 여부와 관계없이 OpenAI 호환 LLM 서버를 연결할 수 있습니다. 스트리밍, 이미지 입력, 서버별 사용자 지정 설정과 같은 누락된 기능을 추가합니다.

작동 방식

HACS 또는 수동으로 통합을 설치한 다음, Home Assistant UI에서 LLM 서버의 URL을 지정하여 구성합니다. 설정이 완료되면 자동화와 음성 어시스턴트에서 사용할 수 있는 대화 에이전트와 AI 작업 엔터티가 생성됩니다. 서버별 옵션(예: llama.cpp 샘플링 매개변수, DeepSeek 사고 모드, vLLM 토큰 예산)과 프롬프트에 관련 컨텍스트를 주입하기 위해 Weaviate 벡터 데이터베이스를 쿼리하는 실험적 RAG 모드가 포함됩니다.

대상 사용자

어시스턴트의 두뇌로 자체 호스팅 또는 클라우드 LLM을 사용하려는 Home Assistant 고급 사용자. 특히 로컬 추론 서버를 실행하고 Home Assistant의 음성 및 자동화 기능과 긴밀하게 통합하려는 사람들에게 유용합니다.

주요 기능

• 모든 OpenAI 호환 API 엔드포인트와 호환(Ollama, llama.cpp, vLLM, OpenRouter, DeepSeek 등)
• 대화 에이전트를 위한 스트리밍 응답 및 TTS 스트리밍
• 로컬 서버를 위한 선택적 API 키
• 추론 모델에서 thinking 태그 자동 제거
• 서버별 구성 옵션(DeepSeek, llama.cpp, LocalAI, vLLM)
• Weaviate를 사용한 실험적 RAG(검색 증강 생성)
• AI 작업 엔터티를 위한 이미지 입력 및 이미지 생성 지원
• 고급 조정을 위한 사용자 지정 HTTP 헤더 및 요청 본문 매개변수