10年前のCNNが皮膚がん診断において最先端のLLMを凌駕

性能比較：CNN vs. 最先端LLM

管理された診断テストにおいて、2015年に初めて導入されたアーキテクチャであるファインチューニング済みのInception v3畳み込みニューラルネットワーク（CNN）が、2つの主要な最先端LLM（GPT-6 AstraおよびClaude Fable 5.1）と比較して、皮膚がんの特定において優れた精度を示しました。生検で証明された200件の病変を提示したところ、CNNは62%の症例で正確な診断を下したのに対し、LLMの精度はわずか42%でした。また、CNNは臨床的介入が必要な病変と経過観察が可能な病変を区別する能力においても、より高い有効性を示しました。

手法とデータセット

評価には、各病変に対して臨床画像とダーモスコピー画像のペアを提供するMILK10kデータセットを使用しました。テストセットは、フォローアップが必要な病変（悪性黒色腫、基底細胞癌、有棘細胞癌、日光角化症）と良性と判断される病変（ほくろ、脂漏性角化症）に均等に分けられた、生検で確認済みの200症例で構成されています。

公平な比較を保証するため、CNNはISIC Archiveの68,011枚の画像でファインチューニングされ、すべてのテスト画像および患者関連データはトレーニングセットおよび検証セットから厳密に除外されました。LLMには同じ臨床画像とダーモスコピー画像が提供され、追加の臨床的背景情報なしで、診断、確信度スコア、および退院（経過観察）の推奨事項を提供するよう求められました。

主な調査結果

• 診断精度: CNNは主要な診断において62%の成功率を達成しましたが、両LLMは42%でした。第2候補の診断まで考慮すると、CNNは200件中173件で正解に達したのに対し、LLMはそれぞれ134件と138件でした。
• 失敗モード: LLMは特定の診断に対して顕著なバイアスを示しました。例えば、あるモデルは様々な病変を頻繁に基底細胞癌と誤分類し、もう一方は日光角化症を過剰に選択しました。CNNはこのような体系的なバイアスが少ないことが示されました。
• 臨床的有用性: CNNは経過観察すべきではない病変を特定する能力が高かった一方、LLMは提供された画像のみに基づいて悪性腫瘍と良性腫瘍を一貫して区別することに苦戦しました。

モデルの専門化に関する業界の視点

この結果は、技術的な観察者の間で高まっているコンセンサスを浮き彫りにしています。汎用LLMは、狭いドメイン固有の分類タスクに対して本質的に最適化されているわけではありません。この研究に関するコメントでは、LLMは推論やマルチモーダル統合には強力であるものの、専門的な視覚データや定量データに適用される場合、CNNやXGBoostモデルのような専用のタスク特化型アーキテクチャに性能で劣ることが多いと指摘されています。

「約11個のラベル予測という狭いタスクに適合させた劇的にシンプルなモデルが、トレーニングコーパス全体から見れば大海の一滴に過ぎないタスクを扱うLLMを凌駕するのは驚くことではない。」 — Hacker News user

専門家は、医療AIの未来にはハイブリッドアプローチが必要であると示唆しています。LLMに直接診断を依存するのではなく、これらのモデルは、実際の診断作業を行う専門的で高精度な分類器を活用するオーケストレーターとして機能する可能性があります。これにより、LLMは患者とのコミュニケーション、データ合成、臨床管理を担当し、画像分析はその特定のモダリティのために構築されたモデルに委ねることが可能になります。