ZeroTang05/cyber-doctor

解決的問題

Cyber-doctor 透過提供 AI 驅動的健康助手，解決醫療資源分配不均的問題。它協助使用者進行基本疾病診斷、分析醫療紀錄，並回答專業的健康問題，減少發展中國家民眾為取得基本醫療指導而需前往大城市的需要。

工作原理

本專案整合多個多模態大型語言模型（LLMs），並使用 AI 代理判斷任務類型，協調不同模型。採用多種增強技術以提升準確性：

• RAG（檢索增強生成）： 使用本地知識庫（檔案）與網路爬取，提供最新且具體的資訊。
• 知識圖譜整合： 連接至 Neo4j 圖資料庫，整合結構化的專業領域知識。
• 多模態處理： 整合 STT（Whisper）與 TTS（edge-tts）以實現語音互動，並使用多模態 LLM 進行影像與文字辨識（例如：分析醫療報告）。
• 工具整合： 包含根據 AI 輸出生成格式化 Word 與 PPT 文件的模組。

適用對象

• 尋求基本健康管理與醫療建議的個人。
• 偏好語音互動而非打字的使用者。
• 尋找使用 RAG 與知識圖譜建構領域專用專家系統範本的開發者。

主要亮點

• 多模態互動： 支援文字、影像、音訊與影片的輸入/輸出。
• 混合知識檢索： 結合傳統 RAG 與 Neo4j 知識圖譜及即時網路搜尋。
• 語音優先模式： 專為降低使用門檻而設計的語音對話模組。
• 文件自動化： 自動將 AI 生成的健康內容轉換為專業格式的 PPT 與 Word 文件。