huggingface/kernels

해결하는 문제

Python 라이브러리와 애플리케이션이 PYTHONPATH 를 통한 전통적인 Python 패키지 설치 없이 Hugging Face Hub 에서 최적화된 계산 커널을 동적으로 로드할 수 있는 방법을 제공합니다.

작동 방식

이 프로젝트는 Hub 에서 커널을 다운로드하고 실행할 수 있도록 해주는 Python 패키지 kernels 로 구성되어 있습니다. 개발자를 위해 kernel-builder 도구도 포함되어 있으며, 이러한 포터블하고 버전 관리된 커널을 생성할 수 있습니다. 이 커널들은 다양한 Python 버전, PyTorch 빌드 구성(다양한 CUDA 버전 및 C++ ABIs 포함), 그리고 오래된 C 라이브러리 버전 간에 포터블하게 작동하도록 설계되었습니다.

대상 사용자

• AI 개발자: 복잡한 설치 프로세스를 관리하지 않고도 애플리케이션에 고성능 계산 커널이 필요한 사람.
• 커널 작성자: 다양한 환경에서 호환되는 최적화된 계산 커널을 구축하고 배포하고 싶은 개발자.

주요 특징

• 동적 로딩: Hugging Face Hub 에서 직접 커널을 로드.
• 포터블성: 표준 Python 경로 외부의 경로에서 커널을 로드 가능.
• 버전 제어: 하나의 Python 프로세스 내에서 동일한 커널의 여러 버전을 로드 가능.
• 호환성: 최신 Python 버전 및 다양한 PyTorch/CUDA 구성에 대한 광범위한 지원.