EvanZhouDev/llm.pdf

解決的問題

它展示了大型語言模型 (LLM) 可以完全在獨立的 PDF 檔案內執行，無需外部伺服器或傳統軟體安裝。

運作原理

該專案使用 Emscripten 將 llama.cpp 編譯為 asm.js，然後透過 JavaScript 注入技術在 PDF 內執行。LLM 模型檔案本身則使用 base64 編碼直接嵌入到 PDF 中。

目標受眾

對 LLM 部署概念驗證實驗以及 PDF 功能創意應用感興趣的開發者與研究人員。

特色亮點

• 在 PDF 文件內本地執行 LLM 推論。
• 支援 GGUF 量化模型。
• 包含一個用於生成具有不同相容模型的自訂 PDF 的腳本。
• 利用 asm.js 和 llama.cpp 進行執行。