Warma10032/cyber-doctor

赛博医生项目——”赛博华佗“，基于多模态大模型的多功能智能体，一键搭建本地多模态大模型。接入医疗健康相关的知识图谱和知识库后可以进行疾病初诊，病历分析，专业知识问答等功能，成为你的私人医生。赛博华佗项目能帮助实现医疗资源的跨地域传播，让更多人借助大模型改善健康水平。"Cyber ​​Huatuo" - Easy to build a personal doctor agent based on LLM and Knowledge Graph/Knowledge Database.

解決的問題

Cyber-doctor 旨在解決醫療資源分配不均的問題，為用戶提供用於基礎疾病診斷、病歷分析和專業健康知識查詢的多模態 AI 助手。其目標是降低獲取健康指導的門檻，特別是針對欠發達地區的人群。

工作原理

該項目集成了多個多模態大語言模型 (LLM)，並使用 AI Agent 來確定任務類型並協調不同模型之間的協作。它採用了多種增強技術來提高準確性：

  • RAG (Retrieval-Augmented Generation): 利用本地知識庫（檔案）和網路爬蟲獲取即時資訊。
  • Knowledge Graph: 集成 Neo4j 以向 LLM 提供結構化的專業知識。
  • 多模態處理: 結合 STT (Whisper) 和 TTS (edge-tts) 進行語音互動，並使用多模態 LLM 進行圖像和影片的生成/辨識。

適用對象

  • 需要基礎醫療建議和病歷分析的健康關注者。
  • 尋求使用 RAG 和知識圖譜構建特定領域專家系統框架的開發者。

項目亮點

  • 多模態集成: 支持文本、語音、圖像和影片的輸入與輸出。
  • 增強型 RAG: 結合了傳統的文檔檢索、即時網路搜尋和 Neo4j 知識圖譜查詢。
  • 無障礙性: 包含專用的純語音對話模式，以降低非技術用戶的學習成本。
  • 文件生成: 可以根據 AI 生成的內容自動生成格式化的 Word 和 PPT 文件。