gpustack/gguf-parser-go

Review/Check GGUF files and estimate the memory usage and maximum tokens per second.

解决的问题

GGUF Parser 允许您检查 GGUF 模型文件，并在无需下载整个文件或运行模型的情况下估算其硬件要求。它帮助用户快速确定模型是否适合其系统内存，以及可能的性能表现。

工作原理

该工具使用分块读取直接解析本地文件或远程 URL（包括 HuggingFace、ModelScope 和 Ollama）中的元数据。通过仅读取文件的必要部分，避免了完整下载。然后计算内存使用量（RAM/VRAM），并根据您的特定硬件配置估算性能指标，如每秒 token 数。

适用人群

该工具专为处理 GGUF 格式模型的开发者和 AI 工程师设计，需要在部署前快速高效地验证模型兼容性和资源分配。

亮点

  • 无需完整下载：使用分块读取检查远程文件，无需下载整个模型。
  • 准确的内存估算：高精度预测内存使用量，通常偏差仅为约 100MiB。
  • 性能预测：根据提供的设备指标估算每秒最大 token 数。
  • 广泛兼容性：支持多种模型类型，包括嵌入、重排序和决策模型，以及 MLA 和 SWA 等专用架构。
  • 高效性能：采用 Go 编写，执行快速且轻量。

相关

  • 项目
    alvarobartt/hf-mem

    hf-mem 是一个轻量级的 Python CLI（及库），用于估算运行任何使用 Safetensors 或 GGUF 权重的 Hugging Face 模型所需的 RAM。它仅通过 HTTP range 请求获取元数据，支持 Transformers、Diffusers、Sentence-Transformers，并可选择性地估算 KV-cache 内存和 MoE 分解。可以作为独立工具、Hugging Face CLI 扩展或 Agent 技能进行安装。

  • Dispatch
    超越权重：理解 GGUF 与模型人体工程学的未来

    对 GGUF 文件格式的探索，详细介绍了它如何将权重与对话模板和采样器配置等关键元数据捆绑在一起，并指出了当前 LLM 分发的关键空白点。

  • Dispatch
    Hugging Face Transformers GGUF 支持

    Hugging Face 已在 transformers 库中增加了对运行 GGUF 量化模型的支持，通过使用 ggml 内核，实现了在 Apple Silicon 上高效的本地推理。

  • 项目
    bodaay/HuggingFaceModelDownloader

    hfdownloader 是一个基于 Go 的 CLI（以及可选的 Web UI），通过并行分块、交互式 GGUF 选择、完整的代理支持和缓存同步功能加速 HuggingFace 模型下载，同时将文件存储在标准 HuggingFace 缓存中，以便与 Python 库无缝使用。

  • 项目
    gufo-org/gufo

    Gufo 是一个开源的、针对 AMD Strix Halo 优化的推理引擎，通过 OpenAI 兼容 API 提供大型语言、视觉和音频模型服务，支持容器化部署和推测解码以实现高吞吐量。