Open-LLM-VTuber/Open-LLM-VTuber

Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D taking face running locally across platforms

What it solves

Open-LLM-VTuber 创建了一个具备视觉存在感的语音交互 AI 伴侣。它让用户能够与可自定义的 Live2D 头像进行实时、多模态对话，并且可以完全在本地离线运行，提供闭源 AI VTuber 的私密替代方案。

How it works

该项目将三个主要 AI 组件整合为统一系统：用于智能的 Large Language Model（LLM）、用于听觉的 Automatic Speech Recognition（ASR）以及用于说话的 Text-to-Speech（TTS）。这些组件与 Live2D 头像相连，能够通过表情和动作作出响应。支持多种后端，包括 Ollama、OpenAI 和本地 GGUF 模型，并提供网页界面和带有“宠物模式”的桌面客户端，可作为透明、置顶的覆盖层。

Who it’s for

它面向希望拥有个性化 AI 伴侣（如虚拟伴侣或宠物）的用户、VTuber 爱好者，以及希望构建具视觉和听觉反馈的交互式 AI 代理的开发者。

Highlights

  • Multimodal Interaction：支持通过摄像头、屏幕录制和截图的视觉感知，也支持点击和拖拽的触摸反馈。
  • Privacy-First：能够使用本地模型完全离线运行。
  • Live2D Integration：具备情绪映射以控制头像表情，并提供透明的“桌面宠物”模式。
  • Broad Compatibility：支持 Windows、macOS 和 Linux，整合多种 LLM、ASR 与 TTS 提供商。
  • Advanced Audio：包括语音中断处理（防止 AI 听到自己的声音）和 TTS 翻译支持。