avaturn-live/avtr-1

AVTR‑1 – 实时说话头像模型

简介 – AVTR‑1 是一款基于流匹配的自回归神经网络，它接收一张肖像图片和两个音频流（语音 + 聆听），并生成 25 fps、口型同步的说话头像视频。该仓库提供了模型权重、TensorRT 加速的推理代码，以及一个可本地运行或作为 API 部署的演示后端。

主要功能

• 实时对话 – 实时渲染语音与主动聆听手势（每个 5 帧区块约 200 ms）。
• 单 GPU 部署 – 适用于任何 Ampere 或更新架构的 NVIDIA GPU，需搭配 CUDA 12 与 TensorRT 10。
• 多说话者支持 – 可通过为每个头像提供各自的语音轨道，并将对方设为“聆听”流，来生成双人对话的两侧内容。
• 闲置动作 – 在没有音频输入时产生细微的面部动作。
• 生产就绪工具 – 提供下载权重、构建 GPU 专用 TensorRT 引擎以及运行交互式网页演示的脚本。

如何尝试

1. 安装轻量级包管理器 pixi (curl -fsSL https://pixi.sh/install.sh | sh)。
2. 克隆仓库并安装依赖项：

   git clone https://github.com/avaturn-live/avtr-1.git
   cd avtr-1
   pixi install
   

3. 下载模型权重（将提示登录 HuggingFace）：

   pixi run download
   

4. 为您的 GPU 构建 TensorRT 推理引擎：

   pixi run build‑trt‑engines   # 或各组件的专用指令
   

5. 在浏览器中运行交互式流媒体演示：

   pixi run interactive-demo
   

6. 若要进行离线渲染，可使用提供的 CLI，例如：

   pixi run generate_offline --speech example/speaker_1.ogg --avatar elena --out elena.mp4
   

   （交换 --speech/--listen 参数即可渲染对话的另一方。）

性能快照（5 帧区块的延迟，25 fps 输出）：

GPU	延迟	实时系数
L40	84 ms	2.4×
A100	91 ms	2.2×
RTX 4060 Ti	166 ms	1.2×
RTX 3070	181 ms	1.1×
L4	202 ms	0.99×
RTX 3060 Ti	206 ms	0.97×
RTX 4060	232 ms	0.86×
系数 ≥ 1 表示 GPU 可跟上 25 fps 的流媒体速度。

选配 TURN 服务器 – 实时演示使用 WebRTC。若 UDP 无法穿透您的网络，README 中说明了如何通过小型 .env 文件配置 Cloudflare 的免费 Realtime TURN 服务（或任何标准 TURN 服务器）。

授权说明

• 模型与脚本 – “AVTR‑1 社区授权”（允许年营收低于 1000 万美元的公司商业使用；大型企业需签署商业协议）。
• 渲染器 – PolyForm 非商业授权 1.0.0（商业使用需另行取得商业授权）。
• 流媒体后端 – PolyForm 非商业授权 1.0.0，包含必要的声明与专利保留（商业使用需另行取得授权）。
• 第三方组件 – InsightFace 的人脸检测/地标模型仅限研究用途；商业部署必须取得 InsightFace 的授权，或以具备宽松授权的替代方案取代。

更多信息

• 项目页面与实时演示：https://avaturn.live
• HuggingFace 上的模型权重：https://huggingface.co/avaturn-live/avtr-1
• 商业咨询：hello@avaturn.me

---

总结 – AVTR‑1 是一个开箱即用、GPU 加速的头像说话系统，可整合至实时流媒体或视频生成管线中，并针对交互式与离线使用提供了明确的说明。该仓库结构完善，提供了性能数据，并记录了用户必须遵守的授权限制。