laiso/site2pdf
Generate comprehensive PDFs of entire websites, ideal for RAG.
解决的问题
简化将整个网站转换为单一可移植PDF文档的过程。此工具专为便于将网站内容输入到Google NotebookLM或ChatGPT GPTs等AI工具中，用于检索增强生成（RAG）和问答（QA）任务而设计。
工作原理
该工具使用Puppeteer启动无头Chrome浏览器，爬取起始URL以根据提供的模式查找匹配链接，并并发生成每个页面的PDF。最后，使用pdf-lib库将这些独立的PDF合并为一个完整的文档。
适用人群
需要将基于网页的文档或网站转换为易于上传至基于LLM的知识库格式的开发者和AI实践者。
主要亮点
- AI就绪：通过保留视觉格式和图像，特别优化用于RAG和多模态AI模型。
- 并发处理：通过并行处理多个页面，加快生成速度。
- 灵活过滤：允许用户指定正则表达式模式，仅包含网站的特定部分。
- 便携输出：将多个网页合并为一个可共享的PDF文件。
相关
- 项目
- 项目
- 项目
- 项目
- 项目