laiso/site2pdf

해결하는 문제

웹사이트 전체를 하나의 이동 가능한 PDF 문서로 변환하는 과정을 단순화합니다. 이는 Google NotebookLM이나 ChatGPT GPTs와 같은 AI 도구에 웹사이트 콘텐츠를 Retrieval-Augmented Generation (RAG) 및 Question Answering (QA) 작업용으로 쉽게 제공할 수 있도록 설계되었습니다.

작동 방식

이 도구는 Puppeteer를 사용하여 헤드리스 Chrome 브라우저를 시작하고, 제공된 패턴에 따라 시작 URL을 크롤링하여 일치하는 링크를 찾습니다. 그런 다음 각 페이지를 병렬로 처리하여 PDF를 생성합니다. 마지막으로 pdf-lib 라이브러리를 사용하여 이러한 개별 PDF를 하나의 포괄적인 문서로 병합합니다.

대상 사용자

LLM 기반 지식 기반에 쉽게 업로드할 수 있는 형식으로 웹 기반 문서나 사이트를 변환해야 하는 개발자 및 AI 전문가.

주요 특징

• AI 준비: 시각적 형식과 이미지를 유지함으로써 RAG 및 멀티모달 AI 모델에 최적화되어 있습니다.
• 병렬 처리: 여러 페이지를 동시에 처리하여 생성 프로세스를 가속화합니다.
• 유연한 필터링: 사용자가 정규 표현식 패턴을 지정하여 웹사이트의 특정 섹션만 포함할 수 있습니다.
• 이동 가능한 출력: 여러 웹 페이지를 하나의 공유 가능한 PDF 파일로 통합합니다.