10년 된 CNN이 피부암 진단에서 최첨단 LLM을 능가하다

성능 비교: CNN vs. 최첨단 LLM

통제된 진단 테스트에서 2015년에 처음 도입된 아키텍처인 미세 조정된 Inception v3 합성곱 신경망(CNN)이 두 개의 주요 최첨단 LLM(GPT-6 Astra 및 Claude Fable 5.1)보다 피부암 식별에서 더 뛰어난 정확도를 보였습니다. 생검으로 입증된 200개의 병변을 제시했을 때, CNN은 사례의 62%에서 정확한 진단을 내린 반면, LLM은 42%의 정확도만을 달성했습니다. 또한 CNN은 임상적 개입이 필요한 병변과 퇴원이 안전한 병변을 구분하는 데 더 효과적인 것으로 입증되었습니다.

방법론 및 데이터셋

이번 평가는 각 병변에 대한 임상 및 피부경 검사 이미지를 쌍으로 제공하는 MILK10k 데이터셋을 활용했습니다. 테스트 세트는 추적 관찰이 필요한 병변(흑색종, 기저세포암, 편평세포암, 광선각화증)과 양성으로 간주되는 병변(점 및 지루성 각화증)으로 균등하게 나뉜 200개의 생검 확진 사례로 구성되었습니다.

공정한 비교를 위해 CNN은 ISIC Archive의 68,011개 이미지로 미세 조정되었으며, 모든 테스트 이미지와 환자 관련 데이터는 훈련 및 검증 세트에서 엄격히 제외되었습니다. LLM에는 동일한 임상 및 피부경 검사 이미지가 제공되었으며, 추가적인 임상 맥락 없이 진단, 신뢰도 점수 및 퇴원 권고를 제공하도록 요청받았습니다.

주요 결과

• 진단 정확도: CNN은 1차 진단에서 62%의 성공률을 달성한 반면, 두 LLM은 42%를 기록했습니다. 2차 진단까지 고려했을 때, CNN은 200개 중 173개를 맞혔고, LLM은 각각 134개와 138개를 맞혔습니다.
• 실패 유형: LLM은 특정 진단에 대해 상당한 편향을 보였습니다. 예를 들어, 한 모델은 다양한 병변을 기저세포암으로 자주 오분류했고, 다른 모델은 광선각화증을 선호했습니다. CNN은 이러한 체계적 편향이 더 적었습니다.
• 임상적 유용성: CNN은 퇴원시켜서는 안 될 병변을 식별하는 능력이 더 뛰어났으며, LLM은 제공된 이미지만을 기반으로 악성과 양성 종양을 일관되게 구분하는 데 어려움을 겪었습니다.

모델 전문화에 대한 업계 관점

이 결과는 기술 관찰자들 사이에서 커지는 합의를 강조합니다. 범용 LLM은 좁고 도메인 특화된 분류 작업에 본질적으로 최적화되어 있지 않다는 것입니다. 이 연구에 대한 댓글 작성자들은 LLM이 추론과 다중 모달 통합에는 강력하지만, 전문화된 시각적 또는 정량적 데이터에 적용될 때는 CNN이나 XGBoost 모델과 같은 전용 작업 특화 아키텍처보다 성능이 떨어지는 경우가 많다고 지적했습니다.

"좁은 범위의 약 11개 라벨 예측 작업에 맞춰진 훨씬 단순한 모델이, 훈련 말뭉치 전체에서 해당 작업이 극히 일부분에 불과한 LLM보다 뛰어난 성능을 보이는 것은 놀라운 일이 아닙니다." — Hacker News user

전문가들은 의료 AI의 미래가 하이브리드 접근 방식을 포함할 가능성이 높다고 제안합니다. LLM에 직접적인 진단을 의존하기보다는, 이러한 모델이 실제 진단 작업을 수행하기 위해 전문화된 고정밀 분류기를 활용하는 오케스트레이터 역할을 할 수 있습니다. 이를 통해 LLM은 환자 커뮤니케이션, 데이터 합성 및 임상 관리를 처리하고, 이미지 분석은 해당 특정 양식에 맞게 구축된 모델에 위임할 수 있습니다.