Tencent-Hunyuan/AuK

AuK – 음성 생성 및 편집을 위한 오픈소스 기반 모델

그것이 무엇인가

텍스트에서 음성을 생성하고, 기존 오디오를 편집하며, 향상 또는 소스 분리를 수행할 수 있는 1.5B 파라미터 확산 기반 모델 – 모두 자연어 지시로 구동됩니다.
두 개의 체크포인트가 공개되었습니다:
- AuK(기본) – 고품질 생성, 구성 가능한 추론 단계.
- AuK-Flash – 빠르고 낮은 지연 시간 추론을 위한 증류된 4단계 버전.

주요 기능

카테고리	작업(자연어 프롬프트)
음성 생성	제로샷 TTS(참조에서 음성 복사), 지시 TTS(음성만 설명)
콘텐츠 편집	말한 단어 교체/삽입/제거, 가사 다시 쓰기
음향 편집	피치 이동, 속도 변경, 볼륨 조정
준언어 편집	감정, 음색, 악센트 제거, 호흡/웃음 추가/제거, 속삭임 ↔ 일반 음성
향상 및 분리	노이즈 제거, 잔향 제거, 음성/음악 분리, 대상 화자 추출

모든 작업은 단일 CLI/API를 공유하며 --instruction 문자열과 선택적 --audio 참조를 전달합니다.

시작하는 방법

클론 및 설정 – git clone https://github.com/Tencent-Hunyuan/AuK && cd AuK 그런 다음 uv 또는 conda를 사용하여 Python 3.10 환경을 만듭니다(README 참조). 핵심 패키지를 설치하거나 추가 기능([gradio], [comfyui], [train])을 추가합니다.
가중치 다운로드 – huggingface_hub 또는 modelscope CLI를 사용하여 tencent/AuK를 가져오고 선택적으로 tencent/AuK-Flash 및 Qwen2.5-Omni-3B 인코더를 가져옵니다.

빠른 추론 실행 – 예:

auk-infer \
  --audio assets/demo-input-audio/zero-shot-tts/ref.wav \
  --instruction "Say: 'Hello world' with the same voice" \
  --output out.wav \
  --gen_seconds 2.0

동일한 명령이 편집, 향상 등에도 작동합니다. 지시만 변경하면 됩니다.

선택적 도우미 –
- 프롬프트 강화기(src/auk/infer/pe.py)는 OpenAI 호환 LLM을 사용하여 자유 형식 요청을 실행 가능한 auk-infer 명령으로 변환합니다.
- Gradio UI(auk-gradio)는 모델 선택기, CPU 오프로드 및 선택적 클라우드 ASR을 갖춘 웹 인터페이스를 제공합니다.
- ComfyUI 노드를 사용하면 시각적 워크플로에 AuK를 포함할 수 있습니다.
- 증류 파이프라인(PR #22)을 사용하면 자체 AuK-Flash를 훈련할 수 있습니다.

성능 및 하드웨어

기본 AuK는 bf16 추론에 약 24GiB VRAM이 필요합니다. --cpu_offload를 활성화하면 약 16GiB(약 32% 절약)로 줄어듭니다.
AuK-Flash는 고정 4 확산 단계(CFG = 0)로 실행되어 실시간 사용에 적합합니다.
CUDA, Apple 실리콘(MLX) 및 audio.cpp를 통한 오프라인 GGUF 추론을 지원합니다.

커뮤니티 및 생태계

vLLM-Omni 및 SGLang-Omni와 통합되어 단일 H100에서 서빙할 수 있습니다.
ICASSP 2027 오디오 편집 챌린지의 기준선으로 사용됩니다.
HuggingFace 및 ModelScope의 데모 공간에서 코드 없이 모델을 사용해 볼 수 있습니다.

더 알아보기

프로젝트 웹사이트: https://auk-project.github.io/
기술 보고서(arXiv): https://arxiv.org/abs/2609.08936
전체 지시 쿡북: docs/COOKBOOK.md
HuggingFace 및 ModelScope의 모델 카드에서 다운로드 링크를 확인하세요.

AuK는 진정한 오픈소스 음성 기반 모델로, 다양한 생성, 편집 및 향상 작업을 위한 통합된 지시 기반 인터페이스를 제공합니다.

Tencent-Hunyuan/AuK

AuK – 음성 생성 및 편집을 위한 오픈소스 기반 모델

관련