一款 10 年前的 CNN 在皮肤癌诊断方面优于前沿大语言模型

性能对比：CNN 与前沿大语言模型

在一项受控诊断测试中，一个经过微调的 Inception v3 卷积神经网络（CNN）——一种 2015 年首次推出的架构——在识别皮肤癌方面表现出了比两款领先的前沿大语言模型（GPT-6 Astra 和 Claude Fable 5.1）更高的准确性。当面对 200 例经活检证实的病变时，CNN 正确识别诊断的比例为 62%，而大语言模型仅达到 42% 的准确率。CNN 在区分需要临床干预的病变和可以安全出院的病变方面也表现得更为有效。

方法与数据集

该评估使用了 MILK10k 数据集，该数据集为每个病变提供了配对的临床图像和皮肤镜图像。测试集由 200 例经活检确认的病例组成，平均分配为需要随访的病变（黑色素瘤、基底细胞癌、鳞状细胞癌和光化性角化病）以及被认为是良性的病变（痣和脂溢性角化病）。

为了确保公平比较，CNN 在 ISIC Archive 的 68,011 张图像上进行了微调，所有测试图像和患者相关数据均被严格排除在训练集和验证集之外。大语言模型被提供了相同的临床和皮肤镜图像，并被要求在没有额外临床背景的情况下提供诊断、置信度评分和出院建议。

主要发现

• 诊断准确性： CNN 在初步诊断中实现了 62% 的成功率，而两款大语言模型均为 42%。在考虑第二选择诊断时，CNN 达到 173/200 正确，而大语言模型分别达到 134 和 138。
• 故障模式： 大语言模型表现出对特定诊断的显著偏见；例如，一个模型经常将各种病变错误分类为基底细胞癌，而另一个模型则偏向于光化性角化病。CNN 显示出较少的此类系统性偏见。
• 临床效用： CNN 在识别不应出院的病变方面能力更强，而大语言模型在仅根据提供的图像区分恶性和良性生长物方面难以保持一致。

行业对模型专业化的看法

这些结果凸显了技术观察者之间日益增长的共识：通用大语言模型并非天生针对狭窄的、特定领域的分类任务进行了优化。该研究的评论者指出，虽然大语言模型在推理和多模态集成方面功能强大，但在应用于专门的视觉或定量数据时，它们往往会被 CNN 或 XGBoost 模型等专用的、特定任务的架构所超越。

"一个针对狭窄的约 11 个标签预测任务进行拟合的简单得多的模型，其表现优于大语言模型，这并不令人惊讶，因为对于大语言模型而言，同样的任务在其训练语料库中只是沧海一粟。" — Hacker News user

专家建议，医疗人工智能的未来可能涉及一种混合方法。这些模型可能不会依赖大语言模型进行直接诊断，而是作为协调者，利用专门的高精度分类器来执行实际的诊断工作。这使得大语言模型能够处理患者沟通、数据综合和临床管理，同时将图像分析委托给专门为此特定模态构建的模型。