gpustack/gguf-parser-go
Review/Check GGUF files and estimate the memory usage and maximum tokens per second.
해결 과제
GGUF Parser를 사용하면 GGUF 모델 파일을 검사하고 전체 파일을 다운로드하거나 모델을 실행하지 않고도 하드웨어 요구 사항을 추정할 수 있습니다. 모델이 시스템 메모리에 맞는지, 성능이 어떨지 빠르게 결정하는 데 도움이 됩니다.
작동 방식
이 도구는 청크 읽기를 사용하여 로컬 파일 또는 원격 URL(HuggingFace, ModelScope, Ollama 포함)에서 메타데이터를 직접 파싱합니다. 파일의 필요한 부분만 읽어 전체 다운로드를 피합니다. 그런 다음 메모리 사용량(RAM/VRAM)을 계산하고 특정 하드웨어 구성에 따라 초당 토큰 수와 같은 성능 지표를 추정합니다.
대상 사용자
이 도구는 GGUF 형식 모델을 다루는 개발자와 AI 엔지니어를 위해 설계되었으며, 배포 전에 모델 호환성과 리소스 할당을 빠르고 효율적으로 확인해야 하는 경우에 적합합니다.
주요 기능
- 전체 다운로드 불필요: 청크 읽기를 사용하여 모델 전체를 다운로드하지 않고 원격 파일을 검사합니다.
- 정확한 메모리 추정: 메모리 사용량을 높은 정확도로 예측하며, 일반적으로 약 100MiB 정도만 차이가 납니다.
- 성능 예측: 제공된 장치 지표를 기반으로 초당 최대 토큰 수를 추정합니다.
- 다양한 호환성: 임베딩, 재랭킹, 결정 모델을 포함한 다양한 모델 유형과 MLA 및 SWA와 같은 특수 아키텍처를 지원합니다.
- 효율적인 성능: 빠르고 가벼운 실행을 위해 Go로 작성되었습니다.
관련
- 프로젝트
- Dispatch
- Dispatch
- 프로젝트
- 프로젝트