RLでファインチューニングした Qwen3.5-9B がカタログレビューでフロンティアモデルを $0.5 per 1k Listings で上回る

概要

強化学習を用いてファインチューニングされた9Bのオープンソースモデルは、カタログレビューのワークフローにおいて、フロンティアモデルよりも高い精度と劇的に低いコストを実現した。

方法論

チームは Amazon Berkeley Objects データセットを使用してカタログワークフローのデジタルツインを構築し、正解が分かっている 177,767 件のレビューエピソードを作成した。オープンソースの prime-rl フレームワークを 2 台の RTX PRO 6000 GPU 上で使用し、1 台の GPU でロールアウトを生成し、もう 1 台で勾配更新を適用しながら 1,000 回のオプティマイザステップを実行し、GPU 時間でおおよそ $500 のコストがかかった。モデルはツール（taxonomy search、brand lookup、attribute schema retrieval）と連携し、スコアラーが各エピソードを評価した。正しい出力には報酬を与え、見逃した違反、サポートされていない属性、無効なカテゴリ、無駄なツール呼び出しにはペナルティを課し、見逃した違反は誤警報の 7 倍の重み付けがされた。

結果

GRPO で訓練された Qwen3.5-9B モデルはベンチマークで 0.626 のスコアを獲得し、これは到達可能な上限の 87.3% に相当する。最適化されたプロンプトを使用したベストなフロンティア構成は到達可能スコアの 76.9% に達した。これはフロンティアに対して相対的に 13.5% の改善、未学習のベーススコア 64.2% に対しては 36% の改善を示す。5 つのフロンティアモデル（GPT-5.5、GPT-5.6-sol、Gemini 3.1 Pro、Claude Opus 4.8、Claude Fable 5）は、プロンプト最適化後でも互いに 0.1 ポイント以内で停滞した。

コスト分析

運用時点では、ファインチューニングされたスペシャリストは 1,000 件あたり約 $0.50 のコストである。最も強力なフロンティアモデルは 1,000 件あたり $34、最も安価なフロンティアオプションは 1,000 件あたり $19 かかる。これにより、最強フロンティアモデルに対して 68×、最安フロンティアオプションに対して 40× のコスト優位性が得られる。1日あたり約 4,000 万件の意思決定（Shopify の報告による）というボリュームで、年間コスト差はフロンティア API 利用で約 $500 M、自己ホスト型スペシャリストで約 $7 M となり、98% の削減になる。

考察

コメント投稿者はこのアプローチとその汎用性についていくつかの指摘を行った。

• あるコメントでは、フロンティアモデルは時間とともに改善するため、比較対象はファインチューニングを維持している間に登場する将来のモデルであるべきだと指摘した：「Every time I see this kind of story, two things bother me. First, I have watched the free improvement of frontier models surpass the gains from retraining, many times now. ... The fair comparison is not against today’s frontier but against whatever ships while you are still maintaining your fine‑tune.」【...】
• 別のコメントでは、ファインチューニングに必要なデータ作成作業の負荷を強調した：「The expensive parts are creating the data and maintaining the model afterwards. How many use cases can actually produce 177k scored episodes? Here they had to generate them synthetically from Amazon Berkeley Objects. To me, that dataset is the strongest evidence in the article of how hard fine‑tuning is to apply: if the data existed naturally, nobody would need to manufacture it.」【...】
• あるコメントは、スコアラーがフロンティアモデルを使用していたかどうか、そしてファインチューニングされたモデルがそれを上回ったときに評価がどう続くかを疑問視した：「I like the 2x2 grid that describes when to fine-tune a model, when to use a frontier model, etc. From the article it’s not clear how the scorer grades every episode - was it a frontier model that assigned the grade? How does that continue to work as the model that is being fine-tuned becomes better at the task than the frontier model?」【...】
• 一部のコメント投稿者は、得られた改善幅に懐疑的で、2T パラメータ規模のフロンティアモデルが未学習の 9B モデルを約 12% しか上回らなかったことに驚きを示した：「I have a lot of skepticism that frontier models like GPT 5.5 that are likely 2T+ parameters in size only got about 12% more accurate than an untrained 9b parameter LLM.」【...】
• 他のコメントは、ホールドアウトテストデータがないことによる過学習の懸念を指摘した：「There seems to be no hold out data for test, so this is just overfitting?」【...】

インパクトとチェックリスト

著者らは、頻繁で検証可能な成果を伴う作業に対してはファインチューニングが有利であると提案している。以下のいずれかが当てはまるワークフローは候補となる。

• 高頻度で発生し、1 回の意思決定コストやエラーが実際の金銭に積み重なるほどの大量ボリュームである。
• すべての結果がルール、テスト、またはルーブリックで検証でき、人が介在しない。
• 専門家が正解の形を合意している。
• 有能なモデルがすでに時折成功しているが、十分に信頼できない。
• 正解は単なる運任せの推測では得られない。
• 複数のステップ（推論、ツール呼び出し、最終的な意思決定）にまたがっている。
• 組織の独自ツール、スキーマ、ポリシー上で実行される。
• ミスの種類ごとにコストが異なる。
• 機密データが組織が管理するインフラを離れることはできない。

これらの条件が揃う場合、内部データでの RL ファインチューニングによってモデルを所有することで、API 経由でフロンティアモデルをレンタルするよりも高い性能と低コストの両方を実現できる。

関連研究（付録サマリー）

付録には、タスク特化型スペシャリストがプロンプト駆動のフロンティアモデルを上回った追加の導入事例が列挙されている。

• Cognition の SWE‑1.7 モデルはコーディングベンチマークで GPT‑5.5 を上回り、フロンティアレベルの出力を提供しつつ、提供コストはごく一部に抑える。
• AT&T のモデルは1日あたり 90 万件のサポートコールを要約し、個人データのフラグ付けで GPT‑4o より 17% 高精度、詐欺ケースのレビューを同等精度で 12 倍速く行う。
• LinkedIn のドメイン適応基盤モデルは、置き換えた GPT モデルよりも候補者と求人のマッチングで 4% 高精度を実現し、GPT‑4 の 75 倍低コストで提供する。
• Ambience Healthcare の医療コーディングモデルはゴールドパネルテストで 18 人の認定医師を上回り、プロンプト付き o4‑mini より 12 ポイント高い。
• Phonely の電話エージェントは 99.2% の精度を達成し、GPT‑4o の 94.7% を上回り、応答速度は 73% 速く、1 顧客が 1 ヶ月で 350 人の人間エージェントを置き換えることを可能にした。
• OpenPipe のメールエージェントはサポート QA で 93% のスコアを獲得し、OpenAI の o3 の 50% と比較して、64 倍安価かつ 5 倍高速で動作する。
• Perplexity の Sonar はブラインドユーザーテストで GPT‑4o と同等の性能を示しつつ、価格のごく一部で 10 倍の速度を提供する。
• Checkr のファインチューニングされた分類器は、最も難しい犯罪記録ケースで GPT‑4 を上回り、以前の GPT‑4 設定に比べて 5 倍安価かつ 30 倍高速で動作する。

結論

強化学習でスコア付けされたカタログレビュー ワークフローのデジタルツイン上で 9B のオープンソースモデルをファインチューニングすることで、精度（87.3% 対 76.9%）でフロンティアモデルを上回り、コストを 1,000 件あたり $19–$172 から $0.50 に削減するスペシャリストが生まれた。このアプローチは、データとモデルの管理を組織が保持でき、ミスのコストが非対称である高頻度かつ検証可能なタスクに最も効果的である。