drmingler/smart-llm-loader

何を解決するか

SmartLLMLoader は、LLM アプリケーションのドキュメント前処理パイプラインを簡素化するように設計されています。従来のツールではドキュメントの構造、表格、セマンティックな意味を失いがちな「雑然」とした抽出問題を解決し、これが RAG（検索拡張生成）システムのパフォーマンスを低下させます。

どのように機能するか

このパッケージは、ドキュメントをクリーンで LLM 準備完了の Markdown に変換します。スキャン画像と PDF に対して OCR を組み合わせ、litellm を介してさまざまな LLM プロバイダーと統合して、インテリジェントでコンテキスト認識のチャンキングを行います。固定文字数でテキストを分割するのではなく、セマンティックなテーマを特定し、テーブルのフォーマットを保持して、LLM が高品質で構造化されたデータを受け取れるようにします。

対象者

RAG システム、チャットボット、ドキュメント Q&A アプリケーションを構築する開発者で、表格やスキャンされたコンテンツを含む複雑なドキュメントをベクトルストア用の構造化チャンクに変換する信頼できる方法が必要な人。

ハイライト

• マルチモーダルサポート：スキャンされたドキュメントと画像用の組み込み OCR。
• コンテキスト認識チャンキング：コンテキストベース、ページベース、カスタムのチャンキング戦略をサポートし、セマンティックな意味を保持。
• 広範な統合：LangChain と LlamaIndex とシームレスに連携。
• プロバイダーに依存しない：litellm を通じて Gemini、OpenAI、Anthropic などの複数の LLM プロバイダーをサポート。
• 構造の保持：テーブルフォーマットを維持し、チャンクにインテリジェントなメタデータタグ付けを追加。