ZeroTang05/cyber-doctor

赛博医生项目——”赛博华佗“，基于多模态大模型的多功能智能体，一键搭建本地多模态大模型。接入医疗健康相关的知识图谱和知识库后可以进行疾病初诊，病历分析，专业知识问答等功能，成为你的私人医生。赛博华佗项目能帮助实现医疗资源的跨地域传播，让更多人借助大模型改善健康水平。"Cyber Huatuo" - Easy to build a personal doctor agent based on LLM and Knowledge Graph/Knowledge Database.

解决的问题

Cyber-doctor 通过提供 AI 驱动的健康助手，解决了医疗资源分配不均的问题。它帮助用户进行基本疾病诊断、分析医疗记录，并回答专业的健康问题，减少了发展中国家人群为获取基本医疗指导而前往大城市就医的需求。

工作原理

该项目整合了多个多模态大语言模型（LLMs），并使用 AI 代理来判断任务类型并协调不同模型。采用多种增强技术以提高准确性：

RAG（检索增强生成）： 使用本地知识库（文件）和网络爬取，提供最新且具体的信息。
知识图谱集成： 连接到 Neo4j 图数据库，整合结构化的专业领域知识。
多模态处理： 集成 STT（Whisper）和 TTS（edge-tts）实现语音交互，并使用多模态 LLM 进行图像和文本识别（例如，分析医疗报告）。
工具集成： 包含基于 AI 输出生成格式化 Word 和 PPT 文档的模块。

适用人群

寻求基本健康管理与医疗建议的个人。
偏好语音交互而非打字的用户。
寻找使用 RAG 和知识图谱构建领域专用专家系统的模板的开发者。

主要亮点

多模态交互： 支持文本、图像、音频和视频的输入/输出。
混合知识检索： 结合传统 RAG 与 Neo4j 知识图谱及实时互联网搜索。
语音优先模式： 专为降低使用门槛而设计的语音对话模块。
文档自动化： 自动将 AI 生成的健康内容转换为专业格式的 PPT 和 Word 文档。