gpustack/gguf-parser-go

Review/Check GGUF files and estimate the memory usage and maximum tokens per second.

解決する課題

GGUF Parserを使用すると、GGUFモデルファイルを検査し、ファイル全体をダウンロードしたりモデルを実行したりすることなく、ハードウェア要件を推定できます。モデルがシステムのメモリに収まるかどうか、またどのようなパフォーマンスが期待できるかを迅速に判断するのに役立ちます。

仕組み

このツールはチャンク読み取りを使用して、ローカルファイルまたはリモートURL（HuggingFace、ModelScope、Ollamaを含む）からメタデータを直接解析します。ファイルの必要な部分のみを読み取ることで、完全なダウンロードを回避します。次に、メモリ使用量（RAM/VRAM）を計算し、特定のハードウェア構成に基づいて、1秒あたりのトークン数などのパフォーマンス指標を推定します。

対象ユーザー

このツールは、GGUF形式のモデルを扱い、デプロイ前にモデルの互換性とリソース割り当てを高速かつ効率的に検証する必要がある開発者やAIエンジニア向けに設計されています。

ハイライト

  • 完全なダウンロード不要: チャンク読み取りを使用して、モデル全体をダウンロードせずにリモートファイルを検査します。
  • 高精度なメモリ推定: メモリ使用量を高精度で予測し、通常わずか約100MiBの誤差です。
  • パフォーマンス予測: 提供されたデバイス指標に基づいて、1秒あたりの最大トークン数を推定します。
  • 多様な互換性: 埋め込み、再ランキング、決定モデル、およびMLAやSWAなどの特殊なアーキテクチャを含むさまざまなモデルタイプをサポートします。
  • 効率的なパフォーマンス: 高速で軽量な実行のためにGoで記述されています。

関連

  • プロジェクト
    alvarobartt/hf-mem

    hf‑mem は、Safetensors または GGUF 重みを使用するあらゆる Hugging Face モデルの実行に必要な RAM を見積もりする、軽量な Python CLI (およびライブラリ) です。HTTP range requests を介してメタデータのみを取得し、Transformers, Diffusers, Diffusers, Sentence‑Transformers をサポートし、オプションで KV‑cache メモリと MoE 内訳を表示できます。スタンドアロンツール、Hugging Face CLI 拡張機能、またはエージェントスキルとしてインストール可能です。

  • Dispatch
    重みを超えて：GGUF の理解とモデル・エルゴノミクスの未来

    GGUF ファイルフォーマットの探索。チャット・テンプレートやサンプラー設定のような重要なメタデータとともに重みをバンドルする方法を詳細に説明し、現在の LLM 配布における主要な欠落を特定する。

  • Dispatch
    Hugging Face Transformers GGUF サポート

    Hugging Face は、GGUF 量子化モデルを transformers ライブラリで直接実行するサポートを追加しました。これにより、ggml カーネルを使用して Apple Silicon 上での効率的なローカル推論が可能になります。

  • プロジェクト
    bodaay/HuggingFaceModelDownloader

    hfdownloader は、Go ベースの CLI（およびオプションの Web UI）で、並列チャンク分割、インタラクティブな GGUF 選択、完全なプロキシサポート、キャッシュ同期機能により HuggingFace モデルのダウンロードを高速化し、ファイルを標準の HuggingFace キャッシュに保存して Python ライブラリとシームレスに使用できます。

  • プロジェクト
    gufo-org/gufo

    Gufoは、AMD Strix Halo向けに最適化されたオープンソースの推論エンジンで、OpenAI互換APIを介して大規模言語モデル、ビジョンモデル、音声モデルを提供し、コンテナ化されたデプロイと投機的デコードによる高スループットを実現します。