Samge0/ragflow-upload

何を解決するか

このツールは、デフォルトの RAGFlow 知識ベースアップロードインターフェースの制限を克服します。通常、一度にアップロードできるファイル数に制限があるため、大規模な文書のインポートが困難です。このツールは、ローカルディレクトリおよびサブディレクトリから大規模な文書を自動的に RAGFlow 知識ベースにインポートするプロセスを自動化し、手動でのバッチ処理や待機の必要をなくします。

動作方法

RAGFlow API/SDK と連携するクライアント（スタンドアロン実行可能ファイルまたは Python スクリプトとして利用可能）として動作します。指定されたローカルディレクトリ内の対応するファイル形式（例：.md, .txt, .pdf, .docx）をスキャンし、ターゲットの知識ベースにアップロードして解析およびチャンク化プロセスをトリガーします。また、付属の .meta.json ファイルを用いてカスタムメタデータをサポートしています。

対象ユーザー

RAGFlow (v0.26.2+) を使用し、大規模なデータセットやローカルアーカイブ（例：ノートのコレクションや技術マニュアル）を AI 知識ベースに効率的に移行したいユーザー向けです。

特徴

• 自動バッチ処理: ディレクトリを自動的に走査し、一括で文書をアップロード・解析します。
• 進捗追跡: 実時間で解析の進捗を監視し、中断時に既に処理済みのファイルをスキップする状態記録を維持します。
• メタデータサポート: JSON ファイルを用いて文書にカスタムメタデータを付与できます。
• 柔軟なチャンク化: naive, general, paper, book, laws, presentation, manual, qa など、さまざまな RAGFlow のチャンク化方法をサポートします。
• スタンドアロンクライアント: Python コードを実行したくないユーザー向けに、Windows、macOS、Linux 用の事前コンパイル済みバイナリを提供しています。