ZeroTang05/cyber-doctor

해결하는 문제

Cyber-doctor는 의료 자원의 불균형을 해결하기 위해 AI 기반의 건강 보조 시스템을 제공합니다. 사용자가 기본적인 질병 진단을 수행하고, 의료 기록을 분석하며, 전문적인 건강 질문에 답변할 수 있도록 도와주어, 개발도상 지역의 사람들이 기본적인 의료 상담을 위해 대도시로 이동할 필요를 줄입니다.

작동 방식

이 프로젝트는 여러 다중 모달 대규모 언어 모델(LLM)을 통합하고, AI 에이전트가 작업 유형을 판단하고 다양한 모델을 조율합니다. 정확도를 높이기 위해 여러 개선 기술을 사용합니다:

• RAG(검색 증강 생성): 로컬 지식 기반(파일)과 웹 크롤링을 사용하여 최신이고 구체적인 정보를 제공합니다.
• 지식 그래프 통합: Neo4j 그래프 데이터베이스에 연결하여 구조화된 전문 분야 지식을 통합합니다.
• 다중 모달 처리: 음성 상호작용을 위해 STT(Whisper)와 TTS(edge-tts)를 통합하고, 이미지 및 텍스트 인식을 위해 다중 모달 LLM을 사용합니다(예: 의료 보고서 분석).
• 도구 통합: AI 출력 기반으로 형식화된 Word 및 PPT 문서를 생성하는 모듈을 포함합니다.

대상 사용자

• 기본적인 건강 관리 및 의료 조언을 원하는 개인.
• 타이핑보다 음성 기반 상호작용을 선호하는 사용자.
• RAG와 지식 그래프를 사용해 도메인 특화 전문 시스템을 구축할 수 있는 템플릿을 찾는 개발자.

주요 특징

• 다중 모달 상호작용: 텍스트, 이미지, 오디오, 비디오 입력/출력을 지원합니다.
• 하이브리드 지식 검색: 전통적인 RAG에 더해 Neo4j 지식 그래프와 실시간 인터넷 검색을 결합합니다.
• 음성 우선 모드: 접근성 장벽을 낮추기 위한 전용 음성 대화 모듈.
• 문서 자동화: AI가 생성한 건강 콘텐츠를 자동으로 전문적인 PPT 및 Word 형식으로 변환합니다.