garycaogan/ai-live-avatar

AI 实时直播间：Vidu S2 实时数字人 + 弹幕过滤调度 + 衣柜换装 + OBS 叠层（角色资产不含）

무엇인가

ai-live-avatar 는 AI 생성 디지털 휴먼이 자신의 라이브 스트림을 호스팅할 수 있게 하는 실제 실행 가능한 프로젝트입니다. 시청자는 채팅 메시지(탄막)를 보내고, AI 아바타는 실시간으로 답변, 의상 변경 또는 제스처를 수행합니다 — 모두 Vidu S2 실시간 디지털 휴먼 서비스로 렌더링됩니다. 이 저장소는 이를 가능하게 하는 "중간 계층"입니다: 수신 댓글을 필터링하고 스케줄링하며, 아바타의 페르소나와 의상을 관리하고, 스트림 오버레이를 렌더링하며, 로컬 제어 워크벤치를 제공하고, OBS 또는 직접 스트리밍으로 출력합니다.

작동 방식

Vidu S2 는 아바타의 비주얼, 음성, 음성 답변을 생성합니다. 이 프로젝트는 아바타 자체를 훈련하거나 렌더링하지 않습니다 — Vidu의 API를 오케스트레이션합니다.
댓글 파이프라인: 수신 탄막은 필터(moderation.json의 차단 목록)를 통과한 다음 규칙 기반 라우터(live/router.py)가 각 메시지를 채팅, 의상 변경, 소품, 배경, 동작 또는 복원으로 분류합니다. 라우터는 LLM을 사용하지 않습니다 — 빠르고 무료입니다.
대기열: 댓글은 대기열에 들어가 아바타가 하나의 답변을 끝낸 후 다음 답변을 처리합니다. 선물은 대기열을 건너뛰지 않습니다.
의상: 각 의상은 완전한 사진입니다(기본 이미지와 동일한 방, 조명, 구도). 의상을 변경하면 새 사진으로 Vidu 세션을 다시 시작하며 약 6초가 걸립니다.
동작: 키워드가 작은 제스처(하트, 손 흔들기, 눈 깜빡임)를 트리거합니다. 유휴 잡담은 페르소나 정의 주제 풀에서 나옵니다.
오버레이 및 스트리밍: 스테이지 페이지는 아바타 피드, 투명 오버레이 레이어, 정보 카드를 제공합니다. 출력은 OBS(브라우저 소스 또는 WebSocket 제어를 통해) 또는 직접 RTMP 스트리밍으로 전송됩니다.

필요한 것

macOS/Linux, Python 3.11+, libx264 및 aac가 포함된 ffmpeg
Vidu API 키(유료; 공식 요금으로 약 169위안/시간)
선택 사항: 캐릭터 이미지/의상/배경 생성 및 음성 복제를 위한 Evolink API 키; OBS 30+; YouTube 스트림 키
자신의 캐릭터 자산 — 작성자의 이미지, 음성, 페르소나는 포함되지 않습니다(gitignored)

시작하기

클론하고, venv를 만들고, 요구 사항을 설치하고, Alibaba Cloud RTC 공급업체 SDK를 가져오고, config.example.json을 config.json으로 복사합니다.
API 키를 ~/.deepsea/에 제한된 권한으로 저장합니다.
python server.py를 실행합니다; http://127.0.0.1:28900/workbench를 열어 워크벤치에 접근합니다.
캐릭터 생성: 기본 이미지 업로드, 페르소나 및 오프닝 라인 작성, 의상 추가, 음성 선택/복제, 동작 키워드 구성.
OBS 연결(브라우저 소스 URL 제공) 또는 직접 스트리밍. 모의 모드(tests/dev_mock_stack.py)를 사용하면 Vidu 크레딧을 소비하지 않고 전체 흐름을 테스트할 수 있습니다.

주목할 만한 설계 결정

배경/소품 변경은 기본적으로 비활성화: 테스트에서 스트림 중 시각적 편집으로 아바타의 옷이 왜곡되었습니다. config.json을 통해 활성화할 수 있지만 작성자는 공개 스트림에서 사용하지 말 것을 경고합니다.
자동 복구: Vidu가 스트림 중에 끊기면 서버는 3초 후에 세션을 다시 시작할 수 있습니다(시간당 최대 6회). 단, 크레딧 부족 또는 콘텐츠 검열로 인한 경우는 제외됩니다.
탄막 소스: 제공된 브리지 스크립트를 통한 YouTube 채팅; 중국 플랫폼은 공식 라이브 인터랙션 API(웹 스크래핑 아님)를 요구합니다. 프로젝트에는 Douyin 통합이 포함되지 않습니다.
규정 준수: 오버레이는 "AI 실시간 생성" 라벨을 영구적으로 표시합니다. 이는 AI 아바타 스트림에 대한 플랫폼 규칙에서 요구됩니다.

결론

이것은 실시간 채팅 상호작용, 의상 변경, 제스처를 갖춘 AI 호스트 라이브 스트림을 실행하기 위한 기능적인 MIT 라이선스 도구입니다 — 데모나 튜토리얼이 아닙니다. 실용적이지만 유료 API 크레딧, 자신의 캐릭터 자산, 약간의 설정 노력이 필요합니다.