SamuelSchmidgall/AgentClinic

解決する課題

AgentClinic は、シミュレートされた臨床環境で AI モデルを評価する方法を提供します。静的なテストではなく、言語エージェントを使用して医師と患者の間の動的な相互作用をシミュレートし、医療診断プロセスにおける AI のパフォーマンスを確認します。

仕組み

このシステムは、複数の LLM ベースのエージェントを使用してシミュレーションを作成します。医師エージェントと患者エージェントが互いにやり取りを行います。MedQA、NEJM、MIMIC-IV などのデータセットを使用して、さまざまな臨床シナリオをシミュレートできます。このフレームワークでは、さまざまなモデル（GPT-4o、Claude 3.5、Llama 3 など）をテストでき、特定のバイアス（性別、人種、自己診断など）を導入して、それが臨床結果にどのような影響を与えるかを確認できます。

対象者

診断の正確性と臨床バイアスの影響をテストするために、現実的でマルチモーダルなベンチマークを必要とする医療 AI モデルを構築している研究者および開発者。

ハイライト

• マルチモーダルサポート: 臨床ケース内でのビジョンモデルと画像リクエストをサポート。
• 多様なデータセット: MIMIC-IV、NEJM、MedQA からの実際の臨床データに基づくケースが含まれています。
• バイアス試験: 特定の医師や患者のバイアス（社会経済的または文化的バイアスなど）をシミュレーションに注入する機能。
• 柔軟なモデル統合: OpenAI、Replicate、HuggingFace モデルと互換性があります。