Nari Qwen3-TTS and Qwen3-ASR パフォーマンス・ベンチマーク

Nari Labsは、2026年9月14日時点のCoval音声AIベンチマークにおいて、Text-to-Speech (TTS) と Speech-to-Text (STT) の両方で、モデルを品質とレイテンシのパレート最適(Pareto frontier)に位置づけ、主要なポジションを獲得しました。同社は、ベンチマーク上のすべての公開モデルの中で、レイテンシ・コストおよび品質・コストのパレート最適においてリードしていると報告しています。

Speech-to-Text (ASR) パフォーマンス

Nari Qwen3-ASR Fastモデルは、Time-to-Final-Segment (TTFS) においてp50が44 msで1位、Word Error Rate (WER) が3.6%で1位を獲得しています。精度に関しては、AssemblyAIのUniversal 3.5 Pro (3.5% WER) に次いで2位となっています。

コスト効率

Qwen3-ASR Fastは1時間あたり$0.12で提供されており、Covalの価格ディレクトリにおいて公開価格が判明しているモデルの中で、2番目に低い価格で並んでいます。これは競合他社と比較して大幅なコスト削減を実現しています:

  • Universal 3.5 Pro: 3.75倍高価
  • Deepgram Nova 3: 2.4倍高価
  • Nari Standard endpoint: $0.06 per hour

Text-to-Speech (TTS) パフォーマンス

Nari Qwen3-TTS Fastモデルは、Word Error Rate (WER) で3.8%で1位、Time-to-First-Audio (TTFA) でp50が63 msで2位を獲得しています。これより低いレイテンシを持つ唯一のモデルはFluxionsのvui (49 ms) ですが、これは300Mパラメータのモデルであり、Nariが提供する1.7BパラメータのQwen3-TTSモデルと比較すると規模が異なります。

コスト効率

100万文字あたり$10で、Qwen3-TTS Fast endpointはCovalの価格ディレクトリにおいて最も安価なモデルの一つとして並んでいます。これは以下と比較されます:

  • ElevenLabs Eleven v3 Conversational: 5倍高価
  • Cartesia Sonic 3.6: 6.5倍高価
  • Nari Standard endpoint: $5 per 1 million characters

インフラストラクチャ比較

Nari Labsは、公式のQwen3 TTS Flash Realtime endpointと同じモデルを使用しながら、中央値のTTFAが692 ms、WERが8.8%を記録している公式エンドポイントと比較して、大幅に優れたパフォーマンスを実現していると報告しています。また、Basetenの専用Qwen3-TTS endpointも、中央値のTTFAが101 ms、WERが6.0%を記録しており、Nariはこれらを上回っています。 \n## コミュニティ・フィードバックと技術的議論

Hacker Newsでのコミュニティの反応は、高性能な音声AIの技術的な有望性と、実用的な課題の両方を浮き彫りにしています。

技術的観察

ユーザーは、音声の一貫性と再生速度に関する問題を指摘しています。あるユーザーは次のように述べています:

All TTS generations are too fast. It's almost I'm listening to a podcast on 1.25-1.5x speed.

別のユーザーは、33秒のクリップの途中で音声が切り替わる現象を報告しました。

市場と評価の観点点

業界関係者は、独立した検証の必要性と、多様なモデルの選択肢の重要性を強調しています:

  • Independent Evals: ユーザーは、品質の主張を検証するために、Datapoint AIのような第三者機関による検証が必要であると提案しています。
  • Market Dynamics: AssemblyAIのデベロッパー・リレーションズ担当者は、音声モデルはLLM APIとは異なり、「勝者総取りの市場」ではないと述べています。
  • Future Directions: 一部のユーザーは、次なる大きな進化は、GPT-Live-1のような統合されたリアルタイム音声体験を実現するための、より安価でオープンソースの代替手段の構築であると示唆しています。

Sources

関連