QwQ-32B-Preview: 深層推論機能の探求

QwenはQwQ-32B-Previewをリリースしました。これは、大規模言語モデル(LLM)の推論の境界を押し広げるために設計された実験的なモデルです。このモデルは「深層推論」に焦点を当て、内部のチェーン・オブ・ソート思考プロセスを利用して、標準的なLLMにとって通常課題となる複雑な数学、コーディング、論理問題に取り組みます。

深層推論と内部チェーン・オブ・ソート

QwQ-32B-Previewは、最終回答を提供する前に問題を深く考察するように設計されています。直接的な回答を提供する可能性がある標準的なモデルとは異なり、QwQは仮説をテストし、自身の論理の誤りを特定し、正しい解決策に向かって反復する可視的な推論プロセスを採用しています。

この能力は、複雑なパズルへのアプローチを通じて示されます。たとえば、誤った方程式 1 + 2 * 3 + 4 * 5 + 6 * 7 + 8 * 9 = 479 に単一の括弧のペアを追加して真の式にするタスクが与えられたとき、モデルは推測しません。代わりに、次のようにします：

  • ベースラインを確立: カッコなしの式の値を計算します（141）。
  • 仮説を反復的にテスト: 括弧の配置を体系的に試し、各試行の結果を計算します。
  • 自己修正: 結果が低すぎる（例：143、219）または高すぎる（例：837）ときを認識し、それに応じて戦略を調整します。
  • 解決策を検証: 正しい配置を見つけたら—1 + 2 * (3 + 4 * 5 + 6) * 7 + 8 * 9 = 479—正確性を確認するために計算を二重チェックします。

問題解決のための技術的アプローチ

モデルの推論プロセスは、未知の境界をナビゲートするために構造化された論理フローに従います。

系統的探索

パターンマッチングに頼るのではなく、QwQ-32B-Previewは試行錯誤の方法論を使用します。提供された例では、モデルは次のような複数のグループ化戦略を探索しました：

  • 個々の項に括弧を付ける。
  • 加法をグループ化する。
  • 乗法をグループ化してより大きな中間値を作成する。

エラー検出と改良

モデルの重要な特徴の一つは、特定のパスが生産的でないことに気付く能力です。モデルが目標値から大きく外れた結果に遭遇したとき、その差異を明示的に指摘しました（例："今のは479をはるかに超えている"）と、異なるグループ化ロジックに転じました。

AI推論への含意

QwQ-32B-Previewのリリースは、ユーザーにとって透明な方法で問題を段階的に「考える」ことができるモデルへのシフトを強調しています。モデルの内部独白を公開することにより、Qwenはユーザーが結論に至るロジックを検証できるメカニズムを提供し、技術分野におけるAI生成回答の「ブラックボックス」な性質を軽減します。

Sources