spaCy Hugging Face Hub 통합
Hugging Face는 spaCy 라이브러리를 Hugging Face Hub에 통합하여 사용자가 표준화된 인프라를 사용하여 spaCy NLP 파이프라인을 공유, 발견 및 배포할 수 있도록 했습니다. 이 통합은 spaCy 모델을 위한 중앙 집중식 저장소를 제공하고 배포 옵션을 단순화함으로써 프로토타이핑에서 프로덕션으로 가는 경로를 간소화합니다.
단순화된 모델 배포 및 설치
사용자는 이제 pip install을 사용하여 Hugging Face Hub에서 직접 spaCy 모델을 설치할 수 있습니다. 이는 수동 다운로드의 필요성을 제거하고 종속성 관리를 단순화합니다. 모델은 표준 방식을 사용하여 spaCy로 로드할 수 있습니다:
# Using spacy.load()
import spacy
nlp = spacy.load("en_core_web_sm")
# Importing as module
import en_core_web_sm
nlp = en_core_web_sm.load()
이를 용이하게 하기 위해, Hub는 모델 저장소에 "Use in spaCy" 버튼을 제공하며, 이는 설치 및 로드를 위한 작동 가능한 코드 스니펫을 생성합니다.
모델 발견 및 Hub 기능
Hugging Face Hub는 이제 spaCy 3.1 릴리스를 기반으로 spaCy 조직에서 제공하는 60개 이상의 정식 모델을 호스팅합니다. 공식 모델 외에도, 커뮤니티에서 기여한 spaCy 모델은 Hub의 전용 필터를 통해 발견할 수 있습니다.
대화형 위젯 및 Inference API
이 통합에는 개체명 인식(NER)을 위한 특화된 위젯이 포함되어 있어 사용자가 브라우저에서 대화형으로 모델을 테스트할 수 있습니다. NER은 Hosted Inference API를 통해 즉시 지원되지만, 품사(POS) 태깅 및 텍스트 분류에 대한 지원은 향후 업데이트에서 계획되어 있습니다.
사용자는 또한 프로덕션 사용 사례를 위해 HTTP 요청을 통해 이러한 모델과 상호작용할 수 있습니다:
curl -X POST --data '{"inputs": "Hello, this is Omar"}' https://api-inference.huggingface.co/models/spacy/en_core_web_sm
spacy-huggingface-hub를 통한 간소화된 모델 공유
개발자는 spacy-huggingface-hub 라이브러리를 사용하여 자신만의 spaCy 파이프라인을 Hub에 업로드할 수 있습니다. 이 라이브러리는 spaCy CLI에 huggingface-hub push 명령어를 추가하여 패키징된 모델, 메타데이터 및 모델 카드의 생성을 자동화합니다.
모델을 공유하는 워크플로우는 다음과 같습니다:
huggingface-cli login을 통해 인증합니다.python -m spacy package를 사용하여 모델을 패키징합니다.python -m spacy huggingface-hub push를 사용하여 패키지를 Hub에 푸시합니다.
라이브러리 통합을 위한 인프라
이 통합은 다양한 라이브러리를 지원하기 위해 필요한 API 및 위젯 프레임워크를 제공하는 huggingface_hub 라이브러리를 통해 가능해졌습니다. Hugging Face는 자신의 도구를 Hub에 통합하고자 하는 다른 라이브러리 유지 관리자를 위한 가이드를 제공합니다.
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- 프로젝트
- Dispatch