Qwen3.8-LiveTranslate モデルリリース

TL;DR

Qwen は Qwen3.8‑LiveTranslate をリリースしました。これは、平均遅延（LAAL）を 2.8 秒から 2.3 秒に削減する同時通訳システムであり、音声クローンを用いたリアルタイムの話者分離、同期された二か国語表示、60 の入力言語に対応した長文脈の曖昧さ解消を実装しています。

主な技術的進展

ミックスアーキテクチャが品質と遅延を向上

"音声とテキストが融合され、品質が向上し、遅延が低減します。この世代では、同時通訳を単一の音声-テキストミックスストリームとして再定義しています。すでに聴取された音声とすでに生成された翻訳はキャッシュされ、再利用可能になります。" ミックスストリームにより、モデルは入力音声と生成された翻訳を因果的シーケンスとして扱うことができ、以前に処理されたセグメントを再利用し、平均遅延（LAAL）を 2.8 秒から 2.3 秒 に削減できます。

リアルタイム話者分離と音声クローン

"複数の人が順番に話す場合、モデルは異なる話者とそれぞれの発言を区別し、翻訳音声が各話者のトーンをより正確かつ安定的に保持するのを支援します。" 各翻訳文と共に話者IDが出力され、Talkerモジュールが元の話者のトーンを模倣した音声を合成します。

同期された元言語・翻訳出力

"通訳中の二か国語の整合性は、即時理解と元言語の確認をサポートし、字幕表示、コンテンツ整理、検索などの次世代機能の基盤を築きます。" サービスは元言語のトランスクリプトと翻訳を1つの応答で返却し、並列表示の二か国語画面を可能にします。

長文脈の曖昧さ解消

"過去のテキストと歴史的文脈を活用することで、複雑な状況における固有名詞、参照表現などの曖昧さを軽減し、表現の一貫性を維持します。" Thinkerモジュールは以前の会話の内容を因果的シーケンスに組み込み、名前、用語、代名詞の処理を改善します。

モデルアーキテクチャ

  • ハイブリッド・ミックスチャネル・オブ・エキスパート（MoE）Thinker–Talker設計
    • Thinker: 映像、音声、元テキスト、視覚フレームを入力し、それらを単一の因果的シーケンスに整理します。
    • Talker: 翻訳テキストと元音声を入力し、元話者のトーンを保持した音声を合成します。
  • エンドツーエンドのストリーミングパイプライン：音声 → ミックス表現 → 翻訳 → 音声合成。

性能評価

マルチ話者長音声ベンチマーク（Omnilingua‑MSpeaker）

  • 14の言語方向をカバーし、複数話者、長時間音声を含みます。
  • Qwen3.8‑LiveTranslate は、主流のリアルタイム通訳システムに対して 翻訳の忠実度、流暢さ、簡潔さ、話者分離誤差率（DER） で優れています。

マルチリンガルリアルタイム通訳（FLEURS音声テストセット）

  • 70の言語方向 で評価されました。
  • 前世代の Qwen および競合システムに対して、翻訳品質、平均遅延、音声認識精度、音声合成品質 でリードしています。

元資料では具体的な数値スコアは公表されておらず、相対的な優位性に限定されています。

対応言語

入力音声および出力テキスト（60言語） 出力音声（29言語）
アフリカーンス語、アラビア語、アストゥリアン語、アゼルバイジャン語、ベラルーシ語、ベンガル語、ボスニア語、ブルガリア語、広東語、カタロニア語、セブアノ語、中国語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィリピン語、フィンランド語、フランス語、ガリシア語、グジャラート語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、ハンガリー語、アイスランド語、インドネシア語、イタリア語、日本語、ジャワ語、カナダ語、カザフ語、韓国語、キルギス語、ラトビア語、マケドニア語、マレー語、マラヤーラム語、マラーティ語、ノルウェー語、ペルシア語、ポーランド語、ポルトガル語、パンジャブ語、ルーマニア語、ロシア語、スロバキア語、スロベニア語、スペイン語、スワヒリ語、スウェーデン語、タジク語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語 中国語、英語、ドイツ語、イタリア語、ポルトガル語、スペイン語、日本語、韓国語、フランス語、ロシア語、タイ語、インドネシア語、アラビア語、ベトナム語、トルコ語、フィンランド語、ポーランド語、ヒンディー語、オランダ語、チェコ語、ウルドゥー語、フィリピン語、スウェーデン語、デンマーク語、ヘブライ語、アイスランド語、マレー語、ノルウェー語、ペルシア語

DashScope API を通じたモデル利用

ブログでは以下の機能を備えた完全な Python クライアントを提供しています：

  1. wss://{workspace_id}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model=qwen3.8-livetranslate-flash-realtime への WebSocket 接続。
  2. セッションを設定し、テキスト 出力とオプションの 音声 出力を要求し、話者IDと元言語 ASR を有効化。
  3. マイクから得た PCM チャンク（16 kHz、16ビット）をサーバーにストリーミング。
  4. 増分的な翻訳テキスト、合成音声、話者識別子を受信。
  5. audio_enabled が true の場合、バックグラウンドスレッドで合成音声を再生。

キーコード抜粋（要約のため）：

config = {
    "session": {
        "output_modalities": ["text", "audio"] if self.audio_enabled else ["text"],
        "input_audio_format": "pcm",
        "output_audio_format": "pcm",
        "translation": {"language": self.target_language}
    }
}
await self.ws.send(json.dumps(config))

クライアントは response.audio.delta、response.text.delta、session.finished などのイベントを処理し、リアルタイム翻訳を提供し、正常なシャットダウンを実現します。

デモ

ブログでは『西遊記』からの2つの会話と同音語の例を紹介し、以下の点を示しています：

  • 話者への正確な属性付与と、ターン間での安定した音声クローン。
  • 同期された二か国語画面出力。
  • 視覚的ヒントを用いた文脈に応じた曖昧語の解消。

今後の方向性

Qwen は以下の3つの研究優先事項を提示しています：

  1. 遅延圧縮 – 同時通訳の理論的限界に近づくエンドツーエンド遅延の改善。
  2. セッション間の長期記憶 – 同じプロジェクトおよび参加者に対して、複数セッションにわたる会話文脈を保持。
  3. 言語カバー範囲の拡張 – より多くの長尾言語および地域方言を追加し、世界規模のリアルタイム通訳を実現。

引用

Qwen3.8‑LiveTranslate を研究や製品で使用する場合、以下の形式でブログエントリを引用してください：

@misc{qwen38livetranslateblog,
  title = {Qwen3.8-LiveTranslate: Names the speaker. Carries the meaning.},
  url = {https://qwen.ai/blog?id=qwen3.8-livetranslate},
  author = {Qwen Team},
  month = {September},
  year = {2026}
}

すべての記述は 2026年9月18日付の Qwen ブログ記事から直接引用されています。

Sources