ZeroTang05/cyber-doctor

何を解決するか

Cyber-doctorは、医療リソースの不均衡を解決するため、AI駆動のヘルスアシスタントを提供します。ユーザーが基本的な疾患診断を行い、医療記録を分析し、専門的な健康に関する質問に答えるのを支援することで、発展途上地域の人々が基本的な医療相談のために大都市まで移動する必要を減らします。

動作方法

このプロジェクトは、複数のマルチモーダル大規模言語モデル（LLM）を統合し、AIエージェントがタスクの種類を判断し、異なるモデルを調整します。精度を向上させるために、いくつかの強化技術を採用しています：

• RAG（リトリーブ・オーガナイズド・ジェネレーション）： ローカルの知識ベース（ファイル）とウェブクローリングを使用して、最新かつ具体的な情報を提供します。
• 知識グラフ統合： Neo4jグラフデータベースに接続し、構造化された専門分野の知識を統合します。
• マルチモーダル処理： 音声対話にSTT（Whisper）とTTS（edge-tts）を統合し、画像およびテキスト認識にマルチモーダルLLMを使用（例：医療レポートの分析）。
• ツール統合： AI出力に基づいてフォーマットされたWordおよびPPTドキュメントを生成するモジュールを含みます。

対象ユーザー

• 基本的な健康管理および医療アドバイスを求めている個人。
• タイピングよりも音声ベースのインタラクションを好むユーザー。
• RAGおよび知識グラフを使用してドメイン固有のエキスパートシステムを構築するためのテンプレートを探している開発者。

特徴

• マルチモーダルインタラクション： テキスト、画像、音声、動画の入出力をサポートします。
• ハイブリッド知識取得： 伝統的なRAGに加え、Neo4j知識グラフとリアルタイムのインターネット検索を組み合わせます。
• 音声優先モード： 低いアクセス障壁を実現する専用の音声対話モジュール。
• ドキュメント自動化： AIが生成した健康コンテンツを自動的にプロフェッショナルなPPTおよびWord形式に変換します。