hyperai/tvm-cn
TVM Documentation in Chinese Simplified / TVM 中文文档
프로젝트: hyperai/tvm-cn
이 프로젝트는 Apache TVM의 중국어 문서 사이트입니다. Apache TVM은 CPU, GPU, ARM과 같은 하드웨어에서 작동하는 오픈 소스 딥러닝 컴파일러입니다. 목표는 공식 TVM 문서의 중앙 집중식 최신 번역을 제공하여 중국어 사용 개발자가 TVM을 더 쉽게 배울 수 있도록 하는 것입니다.
현재 중국어 문서는 TVM 버전 v0.10.0을 기반으로 하며 Docusaurus (정적 사이트 생성기)로 구축되었습니다. README에는 로컬 개발 서버 설정 방법(Node.js 및 pnpm 필요), 외부 이미지를 프로젝트로 마이그레이션하는 방법, TVM 업데이트가 릴리스될 때 새 버전 문서를 만드는 방법이 설명되어 있습니다.
기여자 환영:
- 번역 문제 보고 또는 풀 리퀘스트 제출
- 문서 번역 및 유지 관리 지원
- 중국어 TVM 커뮤니티에 참여하여 토론
프로젝트는 또한 라이브 중국어 문서 사이트 링크와 기여 가이드를 제공합니다.
요컨대, TVM 문서를 중국어로 접근 가능하게 만들고 개선을 돕고자 하는 모든 사람에게 명확한 지침을 제공하는 커뮤니티 주도 노력입니다.
관련
- 프로젝트
vllm-project/llm-compressorLLM Compressor는 vLLM으로 빠르고 메모리 효율적인 추론을 위해 대규모 언어 모델을 양자화하고 압축하는 Python 라이브러리입니다. FP8, FP4, INT4와 같은 다양한 저비트 형식과 GPTQ, AWQ, AutoRound, REAP 등 다양한 알고리즘을 지원하며, 디스크 오프로딩과 DDP를 통해 수조 매개변수 모델을 처리할 수 있습니다. 이 라이브러리는 Hugging Face 체크포인트와 직접 통합되고, `compressed-tensors` 형식으로 모델을 저장하며, 바로 사용할 수 있는 예제와 사전 압축 체크포인트를 제공합니다.
- 프로젝트
NVIDIA/k8s-device-pluginNVIDIA k8s‑device‑plugin은 NVIDIA GPU를 위한 Kubernetes의 device‑plugin API를 구현한 공식 DaemonSet입니다. GPU를 검색하고, 상태를 보고하며, `nvidia.com/gpu` 리소스(선택적 MIG 및 shared‑GPU 모드 포함)를 통해 스케줄링 가능하게 만듭니다. 각 노드에 NVIDIA 드라이버와 컨테이너 툴킷을 설치하고, 플러그인(정적 매니페스트 또는 Helm)을 배포한 다음 pod 스펙에서 GPU를 요청합니다. 구성은 플래그, 환경 변수 또는 YAML 파일을 통해 가능하며, MIG 전략, 장치 목록 전달, 공유 GPU(타임 슬라이싱 또는 MPS) 등을 다룹니다. 이 플러그인은 베타 버전이며, 완전한 상태 확인/정리가 부족하고 공식 NVIDIA 버전만 지원됩니다.
- 프로젝트
Lightning-AI/LitServeLitServe는 모델, 에이전트 및 RAG 파이프라인을 위한 배치, 라우팅 및 오케스트레이션에 대한 자체 로직을 정의할 수 있게 하여 커스텀 추론 서버를 구축하기 위한 Python 기반 프레임워크입니다.
- 프로젝트
nunchux-ai/nunchakuSVDQuant를 사용하여 확산 모델의 4비트 양자화를 가능하게 하는 고성능 추론 엔진으로, VRAM 사용량을 크게 줄이고 추론 속도를 증가시킵니다.