Warma10032/cyber-doctor

赛博医生项目——”赛博华佗“，基于多模态大模型的多功能智能体，一键搭建本地多模态大模型。接入医疗健康相关的知识图谱和知识库后可以进行疾病初诊，病历分析，专业知识问答等功能，成为你的私人医生。赛博华佗项目能帮助实现医疗资源的跨地域传播，让更多人借助大模型改善健康水平。"Cyber ​​Huatuo" - Easy to build a personal doctor agent based on LLM and Knowledge Graph/Knowledge Database.

解决的问题

Cyber-doctor 旨在解决医疗资源分配不均的问题，为用户提供用于基础疾病诊断、病历分析和专业健康知识查询的多模态 AI 助手。其目标是降低获取健康指导的门槛，特别是针对欠发达地区的人群。

工作原理

该项目集成了多个多模态大语言模型 (LLM)，并使用 AI Agent 来确定任务类型并协调不同模型之间的协作。它采用了多种增强技术来提高准确性：

  • RAG (Retrieval-Augmented Generation): 利用本地知识库（文件）和网络爬虫获取实时信息。
  • Knowledge Graph: 集成 Neo4j 以向 LLM 提供结构化的专业知识。
  • 多模态处理: 结合 STT (Whisper) 和 TTS (edge-tts) 进行语音交互，并使用多模态 LLM 进行图像和视频的生成/识别。

适用对象

  • 需要基础医疗建议和病历分析的健康关注者。
  • 寻求使用 RAG 和知识图谱构建特定领域专家系统框架的开发者。

项目亮点

  • 多模态集成: 支持文本、语音、图像和视频的输入与输出。
  • 增强型 RAG: 结合了传统的文档检索、实时网络搜索和 Neo4j 知识图谱查询。
  • 无障碍性: 包含专门的纯语音对话模式，以降低非技术用户的学习成本。
  • 文档生成: 可以根据 AI 生成的内容自动生成格式化的 Word 和 PPT 文档。