mozilla-ai/llamafile

Distribute and run LLMs with a single file.

解决的问题

llamafile 简化了大型语言模型（LLMs）和语音转文本工具的分发与执行。它消除了安装的复杂性、依赖管理以及环境配置的繁琐，使用户能够在大多数操作系统和 CPU 架构上无需安装软件即可本地运行开源 LLM。

工作原理

它将 llama.cpp 和 whisper.cpp 与 Cosmopolitan Libc 结合，创建单个可执行文件。这个「llamafile」将模型权重和推理引擎打包成一个便携、跨平台的二进制文件，可直接在 macOS、Linux、BSD 和 Windows（Windows 有部分大小限制）上运行。

适用人群

希望零安装、最小技术门槛地在本地运行开源 LLM 或语音转文本工具的开发者和终端用户。

主要亮点

  • 单文件分发：将模型和引擎打包为一个可执行文件。
  • 跨平台：可在大多数操作系统和 CPU 架构上运行。
  • 零安装：无需安装依赖或管理环境。
  • 包含 whisperfile：提供基于 whisper.cpp 的单文件音频转录与翻译工具。
  • 广泛模型支持：通过与 llama.cpp 的集成，支持多种模型大小和架构。

相关

  • 项目
    ggml-org/Llama-macOS

    A macOS menu bar app for running local LLMs using llama.cpp, featuring zero-configuration setup and hardware-aware model recommendations.

  • 项目
    SciSharp/LLamaSharp

    A cross-platform C# library based on llama.cpp that allows developers to run LLaMA and other LLMs locally on CPU and GPU with high-level APIs.

  • 项目
    ngxson/wllama

    一个为 llama.cpp 提供的 WebAssembly 绑定，利用 WebGPU 和 Wasm 在浏览器中直接运行 LLM、多模态模型和工具调用。

  • 项目
    nobodywho-ooo/nobodywho

    一个可在多种平台上本地且离线运行 LLM、语音转文本和文本转语音的设备内推理引擎。

  • 项目
    withcatai/node-llama-cpp

    一个 Node.js 库，提供 llama.cpp 的预构建绑定，使开发者能够在本地运行 LLM，并自动进行硬件加速和 TypeScript 支持。