Warma10032/cyber-doctor

赛博医生项目——”赛博华佗“，基于多模态大模型的多功能智能体，一键搭建本地多模态大模型。接入医疗健康相关的知识图谱和知识库后可以进行疾病初诊，病历分析，专业知识问答等功能，成为你的私人医生。赛博华佗项目能帮助实现医疗资源的跨地域传播，让更多人借助大模型改善健康水平。"Cyber ​​Huatuo" - Easy to build a personal doctor agent based on LLM and Knowledge Graph/Knowledge Database.

解決する課題

Cyber-doctorは、医療資源の不均衡を解消するために設計されており、基本的な疾患診断、診療録分析、および専門的な健康知識の照会を行うためのマルチモーダルAIアシスタントをユーザーに提供します。特に発展途上地域のユーザーにとって、健康ガイダンスへのアクセス障壁を下げることを目的としています。

仕組み

このプロジェクトは複数のマルチモーダル大規模言語モデル（LLM）を統合し、AIエージェントを使用してタスクの種類を判断し、異なるモデル間の調整を行います。精度を向上させるために、いくつかの強化技術を採用しています：

  • RAG (Retrieval-Augmented Generation): ローカルのナレッジベース（ファイル）とウェブクローリングを使用して、リアルタイムの情報を提供します。
  • Knowledge Graph: Neo4jを統合し、構造化された専門知識をLLMに提供します。
  • マルチモーダル処理: STT (Whisper) と TTS (edge-tts) を組み合わせて音声対話を実現し、マルチモーダルLLMを使用して画像や動画の生成・認識を行います。

対象者

  • 基本的な医療アドバイスや診療録の分析を必要とする、自身の健康に関心のある個人。
  • RAGやナレッジグラフを使用してドメイン特化型のエキスパートシステムを構築するためのフレームワークを探している開発者。

ハイライト

  • マルチモーダル統合: テキスト、音声、画像、および動画の入出力をサポート。
  • 強化されたRAG: 従来のドキュメント検索、リアルタイムのウェブ検索、およびNeo4jナレッジグラフクエリを組み合わせます。
  • アクセシビリティ: 非技術的なユーザーの学習コストを軽減するため、専用の音声のみの対話モードが含まれています。
  • ドキュメント生成: AIが生成したコンテンツに基づいて、フォーマット済みのWordおよびPPTドキュメントを自動生成できます。