EvanZhouDev/llm.pdf

解決する課題

外部サーバーや従来のソフトウェアインストールを必要とせず、大規模言語モデル (LLM) が独立したPDFファイル内で完全に実行できることを実証します。

仕組み

このプロジェクトでは、Emscriptenを使用して llama.cpp を asm.js にコンパイルし、JavaScriptインジェクション技術を介してPDF内で実行します。LLMモデルファイル自体は、base64エンコーディングを使用してPDFに直接埋め込まれます。

対象読者

LLMデプロイメントの概念実証実験や、PDF機能の創造的な活用に関心のある開発者および研究者。

ハイライト

• PDFドキュメント内でローカルにLLM推論を実行。
• GGUF量子化モデルをサポート。
• 互換性のある異なるモデルでカスタムPDFを生成するスクリプトが含まれています。
• asm.js と llama.cpp を活用して実行。