tegnike/aituber-kit

A web application for chatting with AI characters that anyone can easily set up and deploy.

AITuberKit 是什么?

AITuberKit 是一个开源工具包,可让您构建基于网页的「AI主播」——即能够说话、倾听,甚至在 YouTube 等平台上进行直播的虚拟角色。它整合了:

  • 大型语言模型(LLMs) — 您可以接入 OpenAI、Anthropic、Gemini、Ollama 等多种 API。
  • 语音合成 — 支持 VOICEVOX、ElevenLabs、Azure 等众多 TTS 引擎,将模型的文本转化为语音对话。
  • 角色渲染 — 支持 2D(Live2D)、3D(VRM)或动画 PNG 角色在网页上显示。
  • 交互模式 — 可在浏览器中聊天、响应 YouTube 直播评论、在数字标牌 kiosk 上运行,或作为游戏解说机器人使用。

所有功能均打包为一个 Next.js 应用,可本地运行、在 Docker 中运行,或部署到 Vercel、Cloudflare Workers 等无服务器平台。


谁会使用它?

目标用户 为何适合
内容创作者 / 直播主 将虚拟角色变为自动回复观众评论的直播主持人。
教育者 / 爱好者 无需编写底层代码,即可快速原型化 AI 驱动的教学助手或演示角色。
企业 只要获得商业许可,即可在网站或 kiosk 上部署品牌化的 AI 助手。
开发者 可通过 WebSocket API、自定义提示词,或插件方式扩展新 TTS/LLM 服务。

它如何工作?

  1. 前端 — 一个 Next.js UI 显示角色(VRM/Live2D/PNG),并捕获麦克风或摄像头输入。
  2. 后端 — 服务器端代码将用户文本/音频转发给选定的 LLM 或 OpenAI Realtime API,接收响应,并可选地调用 TTS 服务生成音频。
  3. 记忆机制 — 短期对话在会话中保持;可配置 RAG 风格的长期存储以获取历史上下文。
  4. 模式 —
    • 聊天模式 — 浏览器内直接聊天。
    • YouTube 直播模式 — 轮询 YouTube 评论(或 OneComme),让角色自动回复。
    • 演示/kiosk 模式 — 全屏、密码保护显示,含 NG 词过滤。
    • 游戏解说模式 — 捕获屏幕帧,运行图像分析,生成实时解说。
  5. 部署 — npm run dev 用于本地开发,Docker Compose 用于容器化运行,或一键部署至 Vercel/Cloudflare Workers。

今天你能用它做什么?

  • 使用任何支持的 LLM 与 AI 角色对话。
  • 通过数十种 TTS 提供商添加语音。
  • 在 YouTube 上直播,并让角色自动回复实时聊天。
  • 在 kiosk 上运行,通过人脸识别迎接访客。
  • 启用低延迟 Realtime API,实现快速双向对话。
  • 通过 WebSocket 或简单 HTTP API 与外部应用连接,向角色发送文本或图像。

入门容易吗?

  1. git clone … && cd aituber-kit && npm install
  2. 复制 .env.example → .env,并填入所需的 API 密钥(OpenAI、ElevenLabs 等)。
  3. npm run dev(或双击 LAUNCH.bat / LAUNCH.command)。
  4. 打开 http://localhost:3000,您将看到角色界面。

Docker 用户可将步骤 2–3 替换为 docker compose up -d。


与类似项目相比如何?

特性 AITuberKit 通常的「VTuber」机器人(如 VTube Studio + 自定义脚本)
一体化 开箱即用提供 UI、LLM 集成、TTS、直播和部署脚本。 通常需要手动拼接多个工具。
模型支持 VRM、Live2D、动画 PNG。 通常仅支持一种格式。
LLM 多样性 支持 20+ 提供商,包括本地 Ollama 和 OpenRouter。 通常仅支持 OpenAI。
部署选项 本地、Docker、Vercel、Cloudflare Workers。 多为本地运行。
商业许可 付费使用需单独许可(政策明确)。 各不相同,常不清晰。

背后是谁?

该项目是 Pixiv 的 ChatVRM 的分支,由一群日语开发者社区维护(详见贡献者长列表)。仓库活跃被星标和 fork,作者提供演示站点、文档站点和 Discord 社区以供支持。


有哪些风险?

  • 自定义许可 — 商业使用需另行协议;必须阅读许可文件。
  • API 密钥处理 — 后端代理请求,但生产环境仍需保护您的密钥。
  • 模型资产 — 内置角色模型有各自限制性许可(禁止商业再分发)。

TL;DR

AITuberKit 是一个功能较完整的开源平台,用于创建 AI 驱动的虚拟主持人。它集成了 LLM 聊天、语音合成、角色渲染和直播集成,可本地运行或部署到云端。如果您想快速将 AI 角色变为 YouTube 说话角色或 kiosk 助手,此工具包可提供大部分基础功能,前提是您遵守自定义许可条款。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目