Tencent-Hunyuan/AuK

AuK – 音声生成と編集のためのオープンソース基盤モデル

それは何か

• テキストから音声を生成し、既存のオーディオを編集し、強調や音源分離を実行できる 1.5B パラメータの拡散ベースモデル – すべて自然言語の指示によって駆動されます。
• 2 つのチェックポイントがリリースされています：
  • AuK（ベース） – 高品質な生成、設定可能な推論ステップ。
  • AuK-Flash – 高速・低遅延推論のための蒸留された 4 ステップバージョン。

主な機能

カテゴリ	タスク（自然言語プロンプト）
音声生成	ゼロショット TTS（参照から声をコピー）、指示 TTS（声のみを記述）
コンテンツ編集	話し言葉の置換/挿入/削除、歌詞の書き換え
音響編集	ピッチシフト、速度変更、音量調整
パラ言語編集	感情、音色、アクセント除去、呼吸/笑いの追加/削除、ささやき ↔ 通常の音声
強調と分離	ノイズ除去、残響除去、音声/音楽分離、ターゲット話者抽出

すべてのタスクは単一の CLI/API を共有し、--instruction 文字列とオプションの --audio 参照を渡します。

始め方

1. クローンとセットアップ – git clone https://github.com/Tencent-Hunyuan/AuK && cd AuK その後、uv または conda を使用して Python 3.10 環境を作成します（README を参照）。コアパッケージをインストールするか、追加機能（[gradio]、[comfyui]、[train]）を追加します。
2. 重みのダウンロード – huggingface_hub または modelscope CLI を使用して tencent/AuK を取得し、オプションで tencent/AuK-Flash と Qwen2.5-Omni-3B エンコーダーを取得します。
3. クイック推論を実行 – 例：

   auk-infer \
     --audio assets/demo-input-audio/zero-shot-tts/ref.wav \
     --instruction "Say: 'Hello world' with the same voice" \
     --output out.wav \
     --gen_seconds 2.0
   

   同じコマンドが編集、強調などにも機能します。指示を変更するだけです。
4. オプションのヘルパー –
   • プロンプトエンハンサー（src/auk/infer/pe.py）は OpenAI 互換の LLM を使用して、自由形式のリクエストを実行可能な auk-infer コマンドに変換します。
   • Gradio UI（auk-gradio）は、モデルセレクター、CPU オフロード、オプションのクラウド ASR を備えた Web インターフェースを提供します。
   • ComfyUI ノードを使用すると、ビジュアルワークフローに AuK を埋め込むことができます。
   • 蒸留パイプライン（PR #22）を使用すると、独自の AuK-Flash をトレーニングできます。

パフォーマンスとハードウェア

• ベース AuK は bf16 推論に約 24 GiB VRAM が必要です。--cpu_offload を有効にすると約 16 GiB（約 32% 削減）に削減されます。
• AuK-Flash は固定 4 拡散ステップ（CFG = 0）で実行され、リアルタイム使用に適しています。
• CUDA、Apple シリコン（MLX）、および audio.cpp によるオフライン GGUF 推論をサポートします。

コミュニティとエコシステム

• vLLM-Omni および SGLang-Omni と統合され、単一の H100 でのサービス提供が可能です。
• ICASSP 2027 オーディオ編集チャレンジのベースラインとして使用されています。
• HuggingFace と ModelScope のデモスペースでは、コードなしでモデルを試すことができます。

詳細情報

• プロジェクトウェブサイト：https://auk-project.github.io/
• テクニカルレポート（arXiv）：https://arxiv.org/abs/2609.08936
• 完全な指示クックブック：docs/COOKBOOK.md
• HuggingFace と ModelScope のモデルカードでダウンロードリンクを確認できます。

---

AuK は真のオープンソース音声基盤モデルであり、幅広い生成、編集、強調タスクに対して統一された指示駆動のインターフェースを提供します。