EvanZhouDev/llm.pdf

解决的问题

它展示了大型语言模型 (LLM) 可以完全在独立的 PDF 文件内执行，无需外部服务器或传统的软件安装。

运作原理

该项目使用 Emscripten 将 llama.cpp 编译为 asm.js，然后通过 JavaScript 注入技术在 PDF 内执行。LLM 模型文件本身则使用 base64 编码直接嵌入到 PDF 中。

目标受众

对 LLM 部署概念验证实验以及 PDF 功能创意应用感兴趣的开发者与研究人员。

特色亮点

• 在 PDF 文档内本地执行 LLM 推理。
• 支持 GGUF 量化模型。
• 包含一个用于生成具有不同兼容模型的自定义 PDF 的脚本。
• 利用 asm.js 和 llama.cpp 进行执行。