valentinfrlch/ha-llmvision

LLM Vision – Home Assistantのための視覚的知能

概要 – スマートホームを「見る」ことができるようにするHome Assistant統合機能です。スナップショット、ビデオクリップ、またはライブカメラ映像をマルチモーダル大規模言語モデル（LLM）に送信し、自然言語による説明、回答、または要約を返します。結果はセンサーとして保存され、ダッシュボードに表示したり、Home AssistantのAssistで照会したりできます。

主な機能

• マルチモーダルLLMサポート – OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI、およびOpenAI互換APIを提供するあらゆるサービスに対応しています。
• 画像 / ビデオ分析 – カスタムプロンプトに基づき、単一の画像、ビデオファイル、ライブカメラストリーム、またはFrigateイベントを記述します。
• 記憶 – イベントを越えて、識別された人物、ペット、および物体を記憶できます。
• タイムライン – 分析された各イベントを時系列リストとして保存し、Home Assistant UIのTimeline Cardで表示できます。
• センサー更新 – 抽出された情報を用いて、エンティティ（例: sensor.living_room_last_seen）を自動的に作成/更新します。

クイックスタート (HACS)

1. Home Assistant Community Store (HACS) を通じて統合機能を追加します。デフォルトのリポジトリに含まれています。
2. Home Assistantを再起動します。
3. Settings → Devices & Services で LLM Vision を検索し、追加します。
4. 統合機能を Home Assistant の /media フォルダに指定します（一時的なスナップショットの保存用）。Home Assistantをコンテナで実行している場合は、ホストのフォルダを /media にマウントしてください。
5. 統合機能のページを開き、Add Entry をクリックして、LLMプロバイダー（APIキー、エンドポイント、モデル、オプションのシステムプロンプト）を設定します。
6. (オプション) 提供されるBlueprintを使用すると、AIによる要約されたカメライベント通知と、すぐに使えるTimeline Cardを取得できます。

典型的なワークフロー

• 動体検知イベントがカメラのスナップショットをトリガーします（またはFrigateがクリップを記録します）。
• LLM Visionがメディアを構成済みのLLMにアップロードし、カスタムプロンプト（例: 「何が起きているか説明し、人物やペットの名前を挙げて」）を追加して、テキストレスポンスを受け取ります。
• レスポンスはセンサーに保存され、有効に設定されている場合は、タイムラインに追加されます。
• Home Assistantの音声アシスタントを通じて照会できます: 「午後3時に玄関カメラが何を見たか教えて」

リソース

• ウェブサイト & ドキュメント – https://llmvision.org および GitBookガイド https://llm-vision.gitbook.io/getting-started
• 例 / ギャラリー – https://llmvision.org/gallery/
• コミュニティ – Home Assistant フォーラムのスレッドおよび Discord サーバー（リンクは README に記載）
• サポート – リポジトリにスターを付けたり、BuyMeACoffee バッジを通じて作者にコーヒーを奢ってください。

対象ユーザー – コードを書かずに視覚的AI機能（セキュリティカメラ、ペットの監視、物体検知）を追加したいHome Assistantユーザーで、すでにLLM APIまたはローカルモデルへのアクセス権を持っている方。"},