mozilla-ai/llamafile

Distribute and run LLMs with a single file.

解決的問題

llamafile 簡化了大型語言模型（LLMs）與語音轉文字工具的分發與執行。它消除了安裝的複雜性、相依性管理與環境設定的繁瑣，讓使用者能在大多數作業系統與 CPU 架構上，無需安裝軟體即可在本機執行開源 LLM。

工作原理

它結合 llama.cpp 與 whisper.cpp，並使用 Cosmopolitan Libc 建立單一可執行檔。這個「llamafile」將模型權重與推論引擎打包成一個可攜式、跨平台的二進位檔，可直接在 macOS、Linux、BSD 與 Windows（Windows 有部分大小限制）上執行。

適用對象

希望零安裝、最小技術門檻地在本機執行開源 LLM 或語音轉文字工具的開發者與終端使用者。

主要亮點

  • 單一檔案分發：將模型與引擎打包為一個可執行檔。
  • 跨平台：可在大多數作業系統與 CPU 架構上運行。
  • 零安裝：無需安裝相依性或管理環境。
  • 包含 whisperfile：提供基於 whisper.cpp 的單一檔案音訊轉錄與翻譯工具。
  • 廣泛模型支援：透過與 llama.cpp 的整合，支援多種模型大小與架構。

相關

  • 專案
    ggml-org/Llama-macOS

    A macOS menu bar app for running local LLMs using llama.cpp, featuring zero-configuration setup and hardware-aware model recommendations.

  • 專案
    SciSharp/LLamaSharp

    A cross-platform C# library based on llama.cpp that allows developers to run LLaMA and other LLMs locally on CPU and GPU with high-level APIs.

  • 專案
    ngxson/wllama

    一個為 llama.cpp 提供的 WebAssembly 綁定，利用 WebGPU 和 Wasm 在瀏覽器中直接執行 LLM、多模態模型和工具呼叫。

  • 專案
    nobodywho-ooo/nobodywho

    一個可在多個平台本地且離線運行 LLM、語音轉文字與文字轉語音的裝置內推論引擎。

  • 專案
    withcatai/node-llama-cpp

    一個 Node.js 函式庫，提供 llama.cpp 的預建綁定，讓開發者能在本機執行 LLM，並自動使用硬體加速與 TypeScript 支援。