Open-LLM-VTuber/Open-LLM-VTuber

Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D taking face running locally across platforms

What it solves

Open-LLM-VTuber 創建了一個具備視覺存在感的語音互動 AI 伴侶。它讓使用者能與可自訂的 Live2D 虛擬形象進行即時、多模態對話，且可完全在本機離線執行，提供封閉式 AI VTuber 的私密替代方案。

How it works

此專案將三個主要 AI 元件整合成一個統一系統：用於智慧的 Large Language Model（LLM）、用於聽覺的 Automatic Speech Recognition（ASR）以及用於說話的 Text-to-Speech（TTS）。這些元件與 Live2D 虛擬形象相連，能透過表情與動作作出回應。支援多種後端，包括 Ollama、OpenAI 與本地 GGUF 模型，並提供網頁介面與具「寵物模式」的桌面客戶端，可作為透明、置頂的覆蓋層。

Who it’s for

此工具適合想要個人化 AI 伴侶（如虛擬伴侶或寵物）、VTuber 愛好者，以及想要打造具視覺與聽覺回饋的互動 AI 代理人的開發者。

Highlights

  • Multimodal Interaction：支援透過相機、螢幕錄製與截圖的視覺感知，亦支援點擊與拖曳的觸控回饋。
  • Privacy-First：可使用本地模型完全離線執行。
  • Live2D Integration：具備情緒映射以控制虛擬形象表情，並提供透明的「桌面寵物」模式。
  • Broad Compatibility：支援 Windows、macOS 與 Linux，整合多種 LLM、ASR 與 TTS 供應商。
  • Advanced Audio：包含語音中斷處理（防止 AI 聽到自己的聲音）與 TTS 翻譯支援。