thiswillbeyourgithub/wdoc

何を解決するか

wdoc は、大規模で多様なドキュメントコレクションを扱うための検索拡張生成（RAG）システムです。PDF、音声記録、動画講義、Ankiフラッシュカードなど、さまざまなファイル形式を同時に検索・要約する問題を解決し、幻覚を回避するための出典付きの回答と、著者の思考プロセスを捉えた詳細な要約を提供します。

動作方法

このシステムは、高い再現率と特異性を確保するためのマルチステージパイプラインを使用しています。

1. 検索: ドキュメントは埋め込み（embeddings）を用いて取得され、ユーザーの検索を拡張するためにマルチクエリリトリーバーを頻繁に使用します。
2. 評価: 「弱い」LLM（Eve the Evaluator）が初期検索結果から関係のないドキュメントをフィルタリングします。
3. 抽出: 「強い」LLM（Anna the Answerer）が残りの各ドキュメントから関連情報を抽出します。
4. 集約: 「コンビナーア」LLM（Carl the Combiner）がこれらの個別回答を統合して最終的なMarkdown形式のレスポンスを生成します。最適化のため、システムはscipyの階層的クラスタリングを使用して、意味的類似性に基づいて回答をバッチ処理してから結合しています。

要約の場合は、テキストをチャンクに分割し、強力なLLM（Sam the Summarizer）が論理的なインデントを維持しながら詳細な要約を作成します。チャンク間の文脈を保持します。

対象ユーザー

広範で多様な情報源を扱い、大規模なドキュメントコレクションから確定的で出典付きの回答を得たい研究者、学生、専門家向けに設計されています。

特徴

• 広範なファイル形式対応: Ankiコレクション、YouTube動画、音声ファイル（無音部分の除去対応）、PDF（最適な解析のため15種類のローダーをサポート）、ウェブページなど15種類以上のファイル形式をサポート。
• 柔軟なLLM統合: LiteLLMを介して100種類以上のLLMとさまざまな埋め込みエンジンに対応しており、プライバシー保護のためローカルモデルも利用可能。
• 出典付き回答: すべての回答は一意のドキュメントハッシュにリンクされており、ユーザーが主張の正当性を検証できます。
• 詳細な要約: 高レベルな要約ではなく、著者の思考プロセスや推論を圧縮することに焦点を当てています。
• デプロイオプション: CLIツール、Pythonライブラリ、DockerによるGradioベースのWebインターフェースのいずれかで利用可能。
• ウェブ検索: DuckDuckGoを介したウェブ検索の初期サポートを備えています。