SamuelSchmidgall/AgentClinic

해결하는 문제

AgentClinic은 시뮬레이션된 임상 환경에서 AI 모델을 평가하는 방법을 제공합니다. 정적인 테스트 대신 언어 에이전트를 사용하여 의사와 환자 간의 역동적인 상호작용을 시뮬레이션함으로써 의료 진단 과정에서 AI가 어떻게 수행하는지 확인합니다.

작동 방식

이 시스템은 여러 LLM 기반 에이전트를 사용하여 시뮬레이션을 생성합니다. 의사 에이전트와 환자 에이전트가 서로 상호작용합니다. MedQA, NEJM, MIMIC-IV와 같은 데이터셋을 사용하여 다양한 임상 시나리오를 시뮬레이션할 수 있습니다. 이 프레임워크를 통해 사용자는 다양한 모델(GPT-4o, Claude 3.5, Llama 3 등)을 테스트할 수 있으며, 특정 편향(성별, 인종, 자가 진단 등)을 도입하여 이것이 임상 결과에 어떤 영향을 미치는지 확인할 수 있습니다.

대상 사용자

진단 정확도와 임상적 편향의 영향을 테스트하기 위해 현실적이고 멀티모달한 벤치마크가 필요한 의료 AI 모델 연구자 및 개발자.

주요 특징

• 멀티모달 지원: 임상 사례 내에서 비전 모델 및 이미지 요청을 지원합니다.
• 다양한 데이터셋: MIMIC-IV, NEJM, MedQA의 실제 임상 데이터를 기반으로 한 사례를 포함합니다.
• 편향 테스트: 특정 의사 및 환자의 편향(사회경제적 또는 문화적 편향 등)을 시뮬레이션에 주입할 수 있습니다.
• 유연한 모델 통합: OpenAI, Replicate, HuggingFace 모델과 호환됩니다.