EvanZhouDev/llm.pdf

해결하는 문제

외부 서버나 기존의 소프트웨어 설치 없이도 대규모 언어 모델(LLM)이 독립적인 PDF 파일 내에서 완전히 실행될 수 있음을 보여줍니다.

작동 원리

이 프로젝트는 Emscripten을 사용하여 llama.cpp를 asm.js로 컴파일하고, JavaScript 주입 기술을 통해 PDF 내에서 실행합니다. LLM 모델 파일 자체는 base64 인코딩을 사용하여 PDF에 직접 임베딩됩니다.

대상 사용자

LLM 배포의 개념 증명 실험과 PDF 기능의 창의적인 활용에 관심이 있는 개발자 및 연구자.

주요 특징

• PDF 문서 내에서 로컬로 LLM 추론 실행.
• GGUF 양자화 모델 지원.
• 호환되는 다양한 모델로 사용자 지정 PDF를 생성하는 스크립트 포함.
• asm.js 및 llama.cpp를 활용하여 실행.