Hugging Face 학생 앰배서더 프로그램 2022
Hugging Face는 2023년까지 500만 명에게 머신러닝을 가르치는 목표를 달성하기 위해 첫 번째 학생 앰배서더 프로그램을 시작했습니다.
Hugging Face 머신러닝 인사이트 디렉터: SaaS 에디션
Hugging Face는 Salesforce, Amplitude, ZoomInfo, Repustate의 ML 디렉터 네 명을 인터뷰하여 머신러닝을 SaaS 제품에 통합할 때의 실질적인 과제, 일반적인 함정, 그리고 미래 기회에 대해 논의합니다.
Optimum 1.2 추론 릴리스, ONNX Runtime 가속 파이프라인 추가
Hugging Face는 Optimum 1.2를 발표했으며, ONNX Runtime을 통한 추론 지원 및 Transformers 파이프라인 통합을 추가하여 더 빠르고 양자화된 최적화 모델 서비스를 가능하게 합니다.
Hugging Face 시리즈 C 펀딩 발표
Hugging Face는 오픈소스 연구, 제품 및 협업 머신러닝을 통해 AI 민주화를 가속화하기 위해 1억 달러 규모의 시리즈 C 펀딩을 유치했습니다.
fastai와 Hugging Face Hub 통합
Hugging Face는 fastai 라이브러리를 통합하여, 실무자들이 단 한 줄의 Python 코드로 fastai Learner 객체를 Hugging Face Hub에 직접 업로드하고 다운로드할 수 있게 했습니다.
Hugging Face 딥 강화 학습 소개
Hugging Face는 무료 딥 강화 학습 클래스용 입문 튜토리얼을 공개했으며, 핵심 RL 개념, RL 프레임워크, 탐험‑활용 트레이드오프, 정책 기반 vs 가치 기반 방법, 그리고 딥 신경망이 RL에 어떻게 통합되는지를 다룹니다.
Kili와 HuggingFace AutoTrain을 활용한 의견 분류
Hugging Face는 데이터 라벨링에 Kili를, 자동 모델 학습에 AutoTrain을 활용하여 텍스트 분류를 위한 액티브 러닝 파이프라인을 구축하는 방법을 보여줍니다.
Hugging Face 머신러닝 디렉터 인사이트 – 산업 관점
Hugging Face는 여섯 명의 머신러닝 디렉터와의 인터뷰 시리즈를 공개했으며, 이들이 ML이 미디어, 제약, 과학, 물류, 마케팅, 에너지 분야를 어떻게 변화시키고 있는지 공유하고, 공통적인 과제와 미래 기회를 강조합니다.
Habana Gaudi에서 Transformers 시작하기
Hugging Face와 Habana Labs는 Transformer 모델 학습을 가속화하기 위해 파트너십을 맺었으며, GPU 기반 Amazon EC2 인스턴스에 비해 Habana Gaudi 가속기에서 최대 40% 더 나은 가격 대비 성능을 제공합니다.
머신러닝으로 고객 서비스 강화
Hugging Face는 fine-tuned DeBERTa-v3-base 모델과 Transformers 및 Datasets 라이브러리를 사용하여 불만 고객 피드백을 자동으로 필터링하는 방법을 보여줍니다.
Hugging Face 교육 이니셔티브 2022 출시
Hugging Face는 2022년 4월에 다중 트랙 교육 프로그램을 발표했으며, 2023년 말까지 500만 명에게 머신러닝을 가르치는 것을 목표로 학습자, 강사 및 일반 대중을 위한 무료 자원을 제공한다.
Hugging Face Hub 탄소 배출 추적
Hugging Face는 AI의 환경 투명성을 높이기 위해 머신러닝 모델을 CO2 배출량 기준으로 추적, 보고 및 필터링할 수 있는 도구들을 도입했습니다.
Lewis Tunstall 인터뷰 – Hugging Face 머신 러닝 전문가
Hugging Face는 머신 러닝 엔지니어 Lewis Tunstall와의 상세 인터뷰를 발표했으며, 그는 Transformers 라이브러리 작업, 새로운 “NLP with Transformers” 책, 그리고 확장 중인 Hugging Face 코스에 대한 내용을 강조합니다.
Habana Labs와 Hugging Face의 트랜스포머 모델 훈련 파트너십
Habana Labs와 Hugging Face는 Habana의 SynapseAI 소프트웨어 스위트를 Hugging Face Optimum 라이브러리와 통합하여 Habana Gaudi 프로세서에서 트랜스포머 모델 훈련을 가속화했습니다.
Hugging Face Transformers 설계 철학
Hugging Face는 Transformers 라이브러리에서 "single model file" 정책을 사용하여, 가독성, 커뮤니티 기여, 그리고 정적 머신러닝 모델의 안정성을 우선시하기 위해 의도적으로 DRY(중복 방지) 원칙을 포기합니다.
Decision Transformer 통합 in Hugging Face Transformers
Hugging Face는 RL을 조건부 시퀀스 모델링 문제로 다루는 오프라인 강화 학습 방법인 Decision Transformer를 transformers 라이브러리와 Hugging Face Hub에 통합했습니다.
최신 CPU에서 BERT와 유사한 모델의 추론 확장 - 파트 2
Hugging Face는 Intel Ice Lake Xeon CPU에서 BERT와 유사한 모델을 위한 소프트웨어 수준의 최적화를 탐구하며, 메모리 할당자, 병렬화 라이브러리, 그리고 Bayesian optimization이 어떻게 추론 지연 시간을 크게 줄일 수 있는지 보여줍니다.
Amazon SageMaker로 Hugging Face 모델을 쉽게 배포하기
Hugging Face와 Amazon SageMaker는 새로운 Inference Deep Learning Containers(DLCs)와 Inference Toolkit을 도입하여 Transformer 모델을 프로덕션 수준의 엔드포인트에 배포하는 과정을 간소화했습니다.
Hugging Face Hub에서의 Sentence Transformers 통합
Hugging Face는 Sentence Transformers를 Hub에 통합하여 100개 이상의 언어에 대해 90개 이상의 사전 학습된 모델과 특징 추출 및 문장 유사도를 위한 새로운 대화형 위젯을 제공합니다.
Gradio 2.0를 사용한 Hugging Face 모델 활용 및 혼합
Gradio 2.0을 사용하면 머신러닝 개발자가 단 한 줄의 코드로 Hugging Face 모델을 GUI로 로드하고 배포할 수 있으며, 병렬 및 직렬 모델 구성을 모두 지원합니다.
CPU에서 BERT 추론 확장하기 (Part 1)
Hugging Face는 현대적인 CPU에서 BERT 추론을 위한 하드웨어 수준의 최적화를 탐구하며, NUMA 인지 친화성을 통해 특정 물리적 코어에 바인딩된 여러 독립적인 모델 인스턴스를 사용함으로써 처리량을 선형적으로 확장할 수 있음을 보여줍니다.
Hugging Face Accelerate 라이브러리 출시
Hugging Face는 사용자가 보일러플레이트 코드를 다시 작성하지 않고도 멀티 GPU 및 TPU를 포함한 모든 디바이스 구성에서 원본 학습 스크립트를 실행할 수 있게 해주는 PyTorch 라이브러리인 Accelerate를 출시했습니다.
Hugging Face와 Amazon SageMaker를 통한 요약용 BART 및 T5의 분산 학습
Hugging Face와 Amazon SageMaker는 BART와 T5와 같은 Transformers 모델의 분산 학습을 단순화하기 위해 최적화된 Deep Learning Containers 및 전용 HuggingFace estimator를 제공하기 위해 통합되었습니다.
Understanding BigBird's Block Sparse Attention
BigBird는 블록 희소 어텐션을 도입해 Transformer의 계산 복잡도를 2차에서 선형으로 낮추어 최대 4096 토큰까지 시퀀스를 처리할 수 있게 합니다.
Amazon SageMaker와 Hugging Face 파트너십
Hugging Face와 Amazon은 전용 Deep Learning Containers (DLCs) 및 Python SDK 확장을 통해 Hugging Face Transformers를 Amazon SageMaker에 통합함으로써 NLP 모델 학습 및 배포를 가속화하기 위해 파트너십을 맺었습니다.
Google Cloud에 Serverless Transformers 파이프라인 배포
Maxence Dominici는 Hugging Face Transformers와 Google Cloud Run을 사용해 저볼륨 서버리스 마이크로서비스용 감성 분석 파이프라인을 배포하는 방법을 보여줍니다.
Hugging Face Transformers를 사용하여 영어 ASR을 위한 Wav2Vec2 미세 조정하기
Hugging Face는 Connectionist Temporal Classification (CTC) 손실을 사용하여 영어 자동 음성 인식(ASR)을 위한 Wav2Vec2 사전 학습 음성 모델을 미세 조정하는 방법에 대한 상세한 가이드를 제공합니다.
Hugging Face Reads: Long-range Transformers
Hugging Face는 표준 Transformer self-attention의 이차적 메모리 및 시간 복잡도를 선형 복잡도로 줄이기 위해 설계된 네 가지 핵심 아키텍처—Longformer, Compressive Transformer, Linformer, Performer—를 분석합니다.
Hugging Face: 신경망 구축을 위한 간단한 고려 사항
Hugging Face는 맹목적인 하이퍼파라미터 튜닝 대신 데이터 분석, 간단한 베이스라인, 그리고 엄격한 구현 검증을 우선시함으로써 신경망을 구축하고 디버깅하는 프레임워크를 제공합니다.
Hugging Face Transformers와 Ray를 활용한 Retrieval Augmented Generation
Hugging Face는 검색 호출 속도를 2배 향상시키고 분산 미세 조정의 확장성을 개선하기 위해 Retrieval Augmented Generation (RAG) 모델의 문서 검색 메커니즘에 Ray를 통합했습니다.
Hugging Face PyTorch / XLA TPU Integration
Hugging Face는 PyTorch 사용자가 기존의 Hugging Face Trainer 인터페이스를 사용하여 Cloud TPU에서 트랜스포머 모델을 학습시키고 확장할 수 있도록 PyTorch / XLA를 통합했습니다.
Hugging Face Transformers v4.2.0 TensorFlow 성능 및 서빙 업데이트
Hugging Face Transformers v4.2.0은 TensorFlow 모델에 대한 상당한 연산 성능 향상을 도입하고, SavedModel 형식을 사용하여 TensorFlow Serving을 통한 간소화된 배포를 지원합니다.
DeepSpeed 및 FairScale를 통한 Hugging Face Transformers ZeRO 통합
Hugging Face Transformers v4.2.0은 DeepSpeed 및 FairScale의 ZeRO 최적화를 실험적으로 지원하여, 더 높은 배치 크기와 감소된 GPU 메모리 요구 사항으로 더 큰 모델을 학습할 수 있게 합니다.
Hugging Face 가속 추론 API 최적화
Hugging Face는 고수준 라이브러리 최적화, Rust 기반 토큰화, 하드웨어별 컴파일을 결합하여 Accelerated Inference API의 transformer 추론 속도를 100배 향상시켰습니다.
인코더-디코더 모델을 위한 사전 학습된 언어 모델 체크포인트 활용하기 – Hugging Face 블로그 요약
Hugging Face의 블로그 게시물은 사전 학습된 BERT, RoBERTa 또는 GPT2 체크포인트를 사용하여 인코더-디코더 모델을 warm-start하는 방법을 설명하며, 이 접근 방식이 훈련 비용을 절감하면서도 대규모 사전 학습된 seq2seq 모델의 성능과 일치함을 보여줍니다.
Porting fairseq WMT19 translation system to 🤗 Transformers
Hugging Face ported the fairseq WMT19 translation models (en‑ru, ru‑en, de‑en, en‑de) to the 🤗 Transformers library, allowing users to load and run these high‑quality translators with the standard Transformers API.
Hugging Face Transformers와 Ray Tune 통합
Hugging Face Transformers 3.1은 Ray Tune과의 통합을 도입하여 사용자가 Population-Based Training 및 Bayesian Optimization과 같은 고급 하이퍼파라미터 튜닝 알고리즘을 손쉽게 구현할 수 있게 합니다.
Transformer 기반 인코더-디코더 모델 Hugging Face 블로그 포스트 2020
허깅페이스의 2020년 블로그 포스트는 트랜스포머 기반 인코더-디코더 아키텍처를 설명하며, 인코더와 디코더 스택, 셀프 어텐션, 크로스 어텐션, 자기회귀 생성을 통해 입력 시퀀스를 가변 길이 출력으로 매핑하는 방법을 상세히 다루고, 🤗Transformers 라이브러리로 사용하는 방법을 보여줍니다.
Hugging Face pytorch_block_sparse 릴리스
Hugging Face는 pytorch_block_sparse를 출시했습니다. 이 라이브러리는 BlockSparseLinear 모듈을 제공하여 메모리 사용량을 줄이고 표준 PyTorch 희소 행렬에 비해 계산 효율성을 높여 더 작고 빠른 언어 모델을 만들 수 있게 합니다.
Reformer: 메모리 효율적인 트랜스포머로 언어 모델링의 한계를 넘어서
Hugging Face에서 2020년 7월에 도입된 Reformer 모델은 LSH 셀프 어텐션, 로컬 셀프 어텐션, 청크된 피드 포워드 레이어, 가역적 잔차 레이어, 축 위치 인코딩을 결합하여 8 GB 미만의 RAM으로 최대 50만 토큰 길이의 시퀀스에 대한 훈련을 가능하게 합니다.
Hugging Face 텍스트 생성 디코딩 방법 가이드
Hugging Face는 Greedy Search, Beam Search, Sampling (Top-K 및 Top-p)를 포함한 자기회귀 디코딩 전략에 대한 포괄적인 개요를 제공하여 Transformers에서 개방형 언어 생성을 최적화합니다.
Transformers와 Tokenizers를 사용하여 처음부터 언어 모델 학습시키기
Hugging Face는 Transformers와 Tokenizers 라이브러리를 사용하여 에스페란토 언어를 위한 EsperBERTo를 생성하는 과정을 통해, 새로운 언어 모델을 처음부터 학습시키는 방법에 대한 포괄적인 가이드와 시연을 제공합니다.