SamuelSchmidgall/AgentClinic
Agent benchmark for medical diagnosis
解决的问题
AgentClinic 提供了一种在模拟临床环境中评估 AI 模型的方法。它不使用静态测试，而是利用语言代理来模拟医生与病人之间的动态互动，以观察 AI 在医疗诊断过程中的表现。
运作方式
该系统使用多个基于 LLM 的代理来建立模拟：医生代理与病人代理相互互动。它可以使用 MedQA、NEJM 和 MIMIC-IV 等数据集来模拟各种临床场景。该框架允许用户测试不同的模型（例如 GPT-4o、Claude 3.5 或 Llama 3），并能引入特定的偏差（例如性别、种族或自我诊断）来观察它们如何影响临床结果。
适用对象
正在开发医疗 AI 模型的研究人员与开发者，他们需要一个真实的多模态基准测试来检测诊断准确性以及临床偏差的影响。
特色亮点
- 多模态支持：支持临床案例中的视觉模型与图像请求。
- 多样化数据集：包含基于来自 MIMIC-IV、NEJM 和 MedQA 的真实临床数据案例。
- 偏差测试：能够将特定的医生与病人偏差（例如社会经济或文化偏差）注入模拟中。
- 灵活的模型整合：兼容于 OpenAI、Replicate 和 HuggingFace 模型。
相关
- 项目
- 项目
- 项目
- 项目