laiso/site2pdf

何を解決するか

Webサイト全体を1つのポータブルなPDFドキュメントに変換するプロセスを簡素化します。これは、Google NotebookLMやChatGPT GPTsなどのAIツールにWebサイトのコンテンツをRetrieval-Augmented Generation (RAG)およびQuestion Answering (QA)タスク用に簡単に供給できるように設計されています。

動作方法

このツールはPuppeteerを使用してヘッドレスChromeブラウザを起動し、指定されたパターンに基づいて開始URLをクロールして一致するリンクを検出します。その後、各ページに対して並列処理でPDFを生成します。最後に、pdf-libライブラリを使用してこれらの個別のPDFを1つの包括的なドキュメントにマージします。

対象ユーザー

LLMベースの知識ベースに簡単にアップロードできる形式にWebドキュメントやサイトを変換する必要がある開発者やAI実践者。

特徴

• AI対応: ビジュアルフォーマットや画像を保持することで、RAGおよびマルチモーダルAIモデルに最適化されています。
• 並列処理: 複数のページを並列処理することで、生成プロセスを高速化します。
• 柔軟なフィルタリング: ユーザーが正規表現パターンを指定して、Webサイトの特定のセクションのみを含めることができます。
• ポータブル出力: 複数のWebページを1つの共有可能なPDFファイルに統合します。