Dessa: Blockの全二重音声モデル、音声のみでトレーニング

DessaはBlockの全二重音声モデルであり、Hacker Newsの反応は音声への畏敬とその影響への警鐘に分かれた

DessaはBlock（Square、Cash App、Afterpayを運営する企業）がリリースした会話型音声モデルで、音声のみでトレーニングされ、全二重で動作するため、あなたが話している間にも話すことができます。そして、ディスカッションで引用された発表によると、MacBook Pro M4 Max以上でローカルに動作します。このモデルはHacker Newsのフロントページに496ポイント、187コメントで到達し、コメント投稿者はデモ音声をこれまで聞いた中で最も説得力のある合成音声と評する一方で、この技術の最も明白な短期的用途はなりすましと詐欺であると主張しました。

ソースに関する注記：リンク先のページ（block.xyz/dessa）のスクレイピングされたコンテンツにはBlockのプライバシー通知のみが含まれており、製品説明は含まれていなかったため、以下の技術的主張はHacker Newsのディスカッションと、コメント投稿者が発表ページ自体から引用した内容に基づいています。

発表ページが報告上主張していること

最も注目を集めた主張は、モデルアーキテクチャではなく、展開とトレーニングコストに関するものでした。発表を引用したコメント投稿者は次のように要約しました。

会話の例は印象的ですが、これには声を出して驚かされました：「MacBook Pro M4 Max以上でローカルに動作します。そして、DessaをNVIDIA GB200 NVL72わずか1台でトレーニングする方法を編み出しました。」もし本当にローカルデバイスでその低遅延と表現力を再現できるなら、これは「インディー」AIにとって素晴らしい成果です。

そこには2つの別々の主張が含まれています：消費者向けApple Siliconでの効率的なローカル推論と、単一のNVIDIA GB200 NVL72ラックスケールシステムでのトレーニングです。どちらも、出力がリアルタイムで本物らしいと判断されるモデルにとっては異例です。

Hacker Newsの投稿タイトルは「Dessa: これまでに構築された最も本物の全二重音声モデル」でしたが、ページ自体には「Dessa - 音声のみでトレーニングされた会話モデル」というタイトルが付けられていました。少なくとも1人のコメント投稿者は、最上級の表現枠組みと、センセーショナルなタイトルを投稿してフロントページに到達した後、モデレーターによってタイトルが修正されるというパターンに異議を唱えました：

また、HNに最初からずっとセンセーショナルなタイトルで投稿し、フロントページに到達してからモデレーターにタイトルを修正されるというトレンドは罰せられるべきでしょう。「最も本物」というのはマーケティング用語ではないでしょうか？

全二重とは、モデルがあなたと同時に話すことであり、順番に話すことではない

全二重音声モデルは、音声を生成と消費を同時に行うため、従来の音声アシスタントパイプラインのようにターンの境界を待つのではなく、オーバーラップ、バックチャネル、割り込みが可能です。Dessaのデモはその動作を強く押し出しており、まさにそこで反応が分かれました。

最も強い支持は、音声を人間と見分けがつかないものと評価しました：

ええ、これが本物なら、他に出ているものより桁違いに優れています。正直、あまりにリアルすぎて本物ではないと感じるほどです。100%騙されるでしょうし、本物の人間ではないと疑うことすらありません。

別のコメント投稿者も同じようにその効果を説明しました：

例だけからこれがAIだと見抜くことは絶対にできないでしょう。この技術を使った悪意のあるエージェントから電話がかかってきたら、おそらく気づかないでしょう。

反対意見は、オーバーラップがやり過ぎであるというものでした。つまり、モデルはそれができることを示すために割り込むのです：

これらの双方向/全二重デモは、私にはいつも過度に人工的に感じられます。モデルが順番を待たずに同時に話せるのは素晴らしいですが、できるだけ多く割り込むようにトレーニングするのは正しい方法ではありません。最初の例で、「冬」という答えの後の笑い声が説得力があると思った人はいますか？その必要性は何でしたか？なぜ人間の話し手は、モデルがモノローグで引き継ぐ前に、一文たりとも考えを終えることができなかったのでしょうか？

関連する批判は、会話の内容が配信の下で薄いというものでした：

これは、AIが非公式な電話のマナーを模倣するようにトレーニングされた手品のように感じます。実際の会話はかなりひどいものでした。スタイルは多いが、実質はほとんどありません。

数人のコメント投稿者は、公開されたサンプル会話の人間側がモデル側よりも自然に聞こえないと指摘し、ある人は直接こう観察しました：「少しぎこちなくて変に聞こえると思ったら、それが会話の人間側だったことに気づきました。」

トレーニングデータの問題：音声だけからモデルは何を学ぶのか？

Dessaはテキストではなく音声でトレーニングされているため、LLMに音声認識ステップを追加したものではありません。コメント投稿者は、これがその表現力の源であり、限界の源でもあると主張しました。

私にとって興味深いのは、音声のみでトレーニングすることが、モデルが感情を学ぶことを可能にするということです。音声はテキストでは捉えられない多くの感情情報を伝えます。言語には非常に限られた数の感情に対する言葉があります。おそらくピークだけでしょう。しかし、私たちが言葉で説明したり伝えたりできない感情はもっとたくさんあります。

別のスレッドでは、音声ネイティブモデルが実際に言葉ではなく音をモデル化しているのかどうかが問われました：

本当の問題は、それが実際に音を理解しているのかどうかです。従来のLLMは単に音声をテキストに変換してからテキストを処理するだけなので、音楽やハミング、あらゆる種類の音を理解することはできません。

コメント投稿者はまた、デモ音声からコーパスについて推測しました。ある人は短い試聴からポッドキャストを推測し、別の人はその声は「人間が話しているように聞こえるが、不自然な影響を受けた方法で」と述べました。特定の失敗モードが指摘されました：モデルは映画『メメント』を訂正されるまで「ザ・メント」と呼んでおり、音声のみのモデルがどのようなトークン化を使用するのかという疑問が生じました。

モデルは流暢だが知識がないという不満は、スレッド全体で繰り返されました。あるコメント投稿者は「スタイルは多いが、実質はほとんどない」と述べ、別の人は出力が「10代の意識の流れのように聞こえる」と説明しました。別の人はそのトレードオフを意図的なものとして捉えました：「SOTA LLMが賢いように賢くある必要はありません。ここにはすでにたくさんの価値があります。深い知能のために別のシステムに追加することができます。」

計算効率：GB200 NVL72 1台が興味深い数字なのか？

トレーニングコストの主張は、スレッドで最も将来を見据えた疑問を引き起こしました。同じ効率が、通常ははるかに多くの計算を消費するテキストモデルにも転用できるかどうかです：

「DessaをNVIDIA GB200 NVL72わずか1台でトレーニングする方法を編み出しました。」これがクレイジーな部分です。かなり賢いように見えますが、LLMはトレーニングに1000倍の計算を必要とします。この種の効率はテキストでも達成できるのでしょうか？

ディスカッションでは答えは確立されませんでした。関連する観察は、言語モデルは会話英語よりもはるかに多くを獲得しなければならないと指摘しました：「LLMは途方もない量のテキストを必要とします。Dessaは数百倍少ない単語から言語を学びました（公平に言えば、LLMはC++やAngularなども学ばなければなりません）。」

統合のギャップ：ツール呼び出し、エージェント、アクセス

Dessaが音声から音声へのモデルであるなら、どのように世界に作用するのでしょうか？あるコメント投稿者は、ツール呼び出しをデモとエージェントの実用的な境界線として挙げ、gpt-live-1が実用的なエージェントとして使用できるという点で注目に値すると主張しました。

全二重モデルが常に抱える問題の1つはツール呼び出しです。これはGPT-Liveが完全に実用的なエージェントとして使用できるという点で優れています。Dessaの人々がこれをどのように実装するか楽しみにしています。

他の人々は、モデルがオーディオチャネル以外のものにどのように到達するのかを直接尋ねました：「あなたの『AI』に実際にデジタルなものと相互作用させたいなら、これらの音声から音声へのモデルは...音声をテキストに変換するのでしょうか？このモデルはオーディオチャネル以外のものとどのように相互作用するのでしょうか？」関連するコメント投稿者は、音声から音声への設計がトレーニングされたものに固定されていると疑っていました：「適切な頭脳にパイプ接続できればいいのですが、音声から音声へのモデルはトレーニングされたものに固定されていると思います。」

可用性は繰り返しの不満でした。最も直接的なバージョン：

オープンウェイトでなければ、なかったことと同じだ。

コメント投稿者は、オンラインでテストする方法があるかどうか、英語以外でも動作するかどうか（あるギリシャ語話者は自分の言語がサポートされているかどうかを具体的に尋ねました）、llama.cppでローカルに実行できるかどうかを尋ねました。これらの質問は、キャプチャされたスレッドでは回答されませんでした。

支配的な懸念：なりすまし、詐欺、社会的孤立

最も一般的な批判は、音声品質についてではなく、本物らしいリアルタイム音声が可能にすることについてでした。スレッドで説明された最も具体的なシナリオは、対象の声を知っている人々に対するソーシャルエンジニアリングでした：

さらに悪いことに、誰かが私たちの声を録音し、このようなモデルを微調整して、私たちの声を生成し、家族と話して騙すことができるかもしれません。それは本当に問題です。

1つのシナリオ：AI音声トレーナーが誰かのソーシャルメディアのビデオ投稿でトレーニングし、ほぼ完璧なコピーを取得します。その後、対象の電話番号をSIMジャックし、助けが必要だと偽って電話をかけます。AIは身代金を要求したり、保釈金を要求したり、本番サーバーの変更を要求したりするために使用される可能性があります。

他の人々は、会話のリアリズム自体の人間的コストに焦点を当てました：

このような人間の相互作用への忠実度で、人々がAI関係にますます引き込まれ、人間の接触を置き換えることを心配しています...この種の忠実度は、人間が誰または何と話しているのかの境界を曖昧にし、人間が「社交している」と信じる孤立した世界に陥ることを許します。

技術的には非常に印象的ですが、機械との偽の会話は私には気まずいものでした。この気遣いのふりは、私に会話したいと思わせません。

デモセットにはAIコンパニオンの例が含まれています。あるコメント投稿者は3番目の例の冒頭の「ねえ、ベイビー」を引用し、「BlockはAIガールフレンド市場に参入しているの？うわっ。」と反応しました。別のコメント投稿者は、AIガールフレンドのユースケースが、ChatGPTとDessaの間の会話も含むリストの「3番目の例」であるように見えると観察しました。

あるコメント投稿者は、カテゴリ全体を推論支援ではなくなりすまし技術として理解するのが最善だと主張しました：「最近の音声関連技術のほとんどは、音声をインターフェースまたは対話モードとして使用しています...このモデルは明らかにそれほど賢くありません。だから音声がすべてであり、それ以外にあまり価値はありません。少なくとも単独では。それが意味するのは、なりすましです。」

タイムラインへの懐疑も表明されました。あるコメント投稿者は、音声インターフェースが5年から10年以内に5分間のチューリングテストに合格する可能性があると推定し、現在のLLMは「説得力のある対話型レイテンシーには桁違いに遅い」と主張しつつ、「今日のシステムは多くのアプリケーションに十分に優れている」と認めました。

コメント投稿者が正当な価値を見た場所

議論されたすべてのユースケースが敵対的だったわけではありません。最も発展した建設的な議論は言語学習でした：

これは言語教育にとって非常に価値があります。これはいつでも会話パートナーにオンデマンドでアクセスできるようなものです。しかし、恥ずかしさの要素も、忍耐も、インストラクターの時間を無駄にする心配もありません。モデルが完全に音声でトレーニングされており、音声からテキストへのアドオンではないため、人間に非常に高品質なフィードバックとトレーニングを提供できます。そして、実行は安価です。

長いコメントは、表現力豊かでインタラクティブなオーディオブックを想像しました。あなたが割り込むと一時停止するナレーター、キャラクターについての質問に反応するナレーター、あなたが眠ると音量を調整するナレーター、何年も後にあなたの好みを覚えているナレーター、さらにゲームのナレーションと永続的なゲーム内コンパニオンを想像しました。

他の人々は、2018年に電話で予約を取ったシステムであるGoogle Duplexの歴史的な類似点を指摘し、あるコメント投稿者はGoogleが何年も前にその効果をどのように達成したかを尋ねました。

ディスカッションが確立しなかったこと

いくつかの基本的な事実はスレッドで決着しませんでした：モデルのアーキテクチャとパラメータ数、測定されたレイテンシ、ウェイトまたはAPIがリリースされるかどうか、サポートされる言語、ツールを呼び出したり非音声システムに接続したりする方法。コンテンツ品質に関する不満（「スタイルは多いが、実質はほとんどない」）と音声品質への熱意（「100%騙されるでしょう」）は、どちらも同じ公開されたデモトラックの判断であり、どちらの側も音声忠実度自体が全二重音声の段階的変化であることを争いませんでした。