Warma10032/cyber-doctor

赛博医生项目——”赛博华佗“，基于多模态大模型的多功能智能体，一键搭建本地多模态大模型。接入医疗健康相关的知识图谱和知识库后可以进行疾病初诊，病历分析，专业知识问答等功能，成为你的私人医生。赛博华佗项目能帮助实现医疗资源的跨地域传播，让更多人借助大模型改善健康水平。"Cyber ​​Huatuo" - Easy to build a personal doctor agent based on LLM and Knowledge Graph/Knowledge Database.

해결하는 문제

Cyber-doctor는 의료 자원의 불균형을 해결하기 위해 설계되었으며, 사용자에게 기본적인 질병 진단, 의료 기록 분석 및 전문적인 건강 지식 질의를 위한 멀티모달 AI 어시스턴트를 제공합니다. 특히 저개발 지역의 사람들이 건강 가이드에 접근하는 장벽을 낮추는 것을 목표로 합니다.

작동 방식

이 프로젝트는 여러 멀티모달 대규모 언어 모델(LLM)을 통합하고 AI 에이전트를 사용하여 작업 유형을 결정하고 서로 다른 모델 간을 조정합니다. 정확도를 높이기 위해 다음과 같은 강화 기술을 사용합니다:

  • RAG (Retrieval-Augmented Generation): 로컬 지식 베이스(파일)와 웹 크롤링을 사용하여 실시간 정보를 제공합니다.
  • Knowledge Graph: Neo4j를 통합하여 LLM에 구조화된 전문 지식을 제공합니다.
  • 멀티모달 처리: STT (Whisper) 및 TTS (edge-tts)를 결합하여 음성 상호작용을 구현하고, 멀티모달 LLM을 사용하여 이미지 및 비디오 생성/인식을 수행합니다.

대상 사용자

  • 기본적인 의료 조언 및 기록 분석이 필요한 건강 관심 개인.
  • RAG 및 Knowledge Graphs를 사용하여 도메인 특화 전문가 시스템을 구축하려는 개발자.

주요 특징

  • 멀티모달 통합: 텍스트, 음성, 이미지 및 비디오 입출력을 지원합니다.
  • 강화된 RAG: 전통적인 문서 검색, 실시간 웹 검색 및 Neo4j 지식 그래프 쿼리를 결합합니다.
  • 접근성: 비기술적 사용자의 학습 곡선을 줄이기 위해 전용 음성 전용 대화 모드를 포함합니다.
  • 문서 생성: AI가 생성한 콘텐츠를 기반으로 서식이 지정된 Word 및 PPT 문서를 자동으로 생성할 수 있습니다.