laiso/site2pdf
Generate comprehensive PDFs of entire websites, ideal for RAG.
解決的問題
簡化將整個網站轉換為單一可攜帶PDF文件的流程。此工具專為方便將網站內容輸入Google NotebookLM或ChatGPT GPTs等AI工具，用於檢索增強生成（RAG）與問答（QA）任務而設計。
工作原理
該工具使用Puppeteer啟動無頭Chrome瀏覽器，爬取起始URL以根據提供的模式尋找匹配連結，並並行生成每個頁面的PDF。最後，使用pdf-lib庫將這些獨立的PDF合併為一個完整的文件。
適用對象
需要將基於網頁的文件或網站轉換為易於上傳至基於LLM知識庫格式的開發者與AI實踐者。
主要亮點
- AI就緒：透過保留視覺格式與圖片，特別優化用於RAG與多模態AI模型。
- 並行處理：透過並行處理多個頁面，加快生成速度。
- 靈活過濾：允許使用者指定正則表達式模式，僅包含網站的特定部分。
- 便攜輸出：將多個網頁合併為一個可共享的PDF文件。
相關
- 專案
- 專案
- 專案
- 專案
- 專案