✷ 아카이브 · 연구소 11곳 · 디스패치 870건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
Hugging Face와 Amazon SageMaker를 통한 요약용 BART 및 T5의 분산 학습
Hugging Face와 Amazon SageMaker는 BART와 T5와 같은 Transformers 모델의 분산 학습을 단순화하기 위해 최적화된 Deep Learning Containers 및 전용 HuggingFace estimator를 제공하기 위해 통합되었습니다.
Understanding BigBird's Block Sparse Attention
BigBird는 블록 희소 어텐션을 도입해 Transformer의 계산 복잡도를 2차에서 선형으로 낮추어 최대 4096 토큰까지 시퀀스를 처리할 수 있게 합니다.
Amazon SageMaker와 Hugging Face 파트너십
Hugging Face와 Amazon은 전용 Deep Learning Containers (DLCs) 및 Python SDK 확장을 통해 Hugging Face Transformers를 Amazon SageMaker에 통합함으로써 NLP 모델 학습 및 배포를 가속화하기 위해 파트너십을 맺었습니다.
Google Cloud Run에 Hugging Face Transformers 감성 분석 파이프라인 배포하기
커뮤니티 멤버가 DistilBERT 모델을 사용하여 Google Cloud Run에서 Hugging Face 감성 분석 파이프라인을 서비스하는 방법을 시연했으며, 최소한의 월 비용으로 5초 미만의 지연 시간을 달성했습니다.
Hugging Face Transformers를 사용하여 영어 ASR을 위한 Wav2Vec2 미세 조정하기
Hugging Face는 Connectionist Temporal Classification (CTC) 손실을 사용하여 영어 자동 음성 인식(ASR)을 위한 Wav2Vec2 사전 학습 음성 모델을 미세 조정하는 방법에 대한 상세한 가이드를 제공합니다.
Hugging Face Reads: Long-range Transformers
Hugging Face는 표준 Transformer self-attention의 이차적 메모리 및 시간 복잡도를 선형 복잡도로 줄이기 위해 설계된 네 가지 핵심 아키텍처—Longformer, Compressive Transformer, Linformer, Performer—를 분석합니다.
Hugging Face: 신경망 구축을 위한 간단한 고려 사항
Hugging Face는 맹목적인 하이퍼파라미터 튜닝 대신 데이터 분석, 간단한 베이스라인, 그리고 엄격한 구현 검증을 우선시함으로써 신경망을 구축하고 디버깅하는 프레임워크를 제공합니다.
Hugging Face Transformers와 Ray를 활용한 Retrieval Augmented Generation
Hugging Face는 검색 호출 속도를 2배 향상시키고 분산 미세 조정의 확장성을 개선하기 위해 Retrieval Augmented Generation (RAG) 모델의 문서 검색 메커니즘에 Ray를 통합했습니다.
Hugging Face PyTorch / XLA TPU Integration
Hugging Face는 PyTorch 사용자가 기존의 Hugging Face Trainer 인터페이스를 사용하여 Cloud TPU에서 트랜스포머 모델을 학습시키고 확장할 수 있도록 PyTorch / XLA를 통합했습니다.
Hugging Face Transformers v4.2.0 TensorFlow 성능 및 서빙 업데이트
Hugging Face Transformers v4.2.0은 TensorFlow 모델에 대한 상당한 연산 성능 향상을 도입하고, SavedModel 형식을 사용하여 TensorFlow Serving을 통한 간소화된 배포를 지원합니다.
DeepSpeed 및 FairScale를 통한 Hugging Face Transformers ZeRO 통합
Hugging Face Transformers v4.2.0은 DeepSpeed 및 FairScale의 ZeRO 최적화를 실험적으로 지원하여, 더 높은 배치 크기와 감소된 GPU 메모리 요구 사항으로 더 큰 모델을 학습할 수 있게 합니다.
Hugging Face 가속 추론 API 최적화
Hugging Face는 고수준 라이브러리 최적화, Rust 기반 토큰화, 하드웨어별 컴파일을 결합하여 Accelerated Inference API의 transformer 추론 속도를 100배 향상시켰습니다.
인코더-디코더 모델을 위한 사전 학습된 언어 모델 체크포인트 활용하기 – Hugging Face 블로그 요약
Hugging Face의 블로그 게시물은 사전 학습된 BERT, RoBERTa 또는 GPT2 체크포인트를 사용하여 인코더-디코더 모델을 warm-start하는 방법을 설명하며, 이 접근 방식이 훈련 비용을 절감하면서도 대규모 사전 학습된 seq2seq 모델의 성능과 일치함을 보여줍니다.
Porting fairseq WMT19 translation system to 🤗 Transformers
Hugging Face ported the fairseq WMT19 translation models (en‑ru, ru‑en, de‑en, en‑de) to the 🤗 Transformers library, allowing users to load and run these high‑quality translators with the standard Transformers API.
Hugging Face Transformers와 Ray Tune 통합
Hugging Face Transformers 3.1은 Ray Tune과의 통합을 도입하여 사용자가 Population-Based Training 및 Bayesian Optimization과 같은 고급 하이퍼파라미터 튜닝 알고리즘을 손쉽게 구현할 수 있게 합니다.
Transformer 기반 인코더-디코더 모델 Hugging Face 블로그 포스트 2020
허깅페이스의 2020년 블로그 포스트는 트랜스포머 기반 인코더-디코더 아키텍처를 설명하며, 인코더와 디코더 스택, 셀프 어텐션, 크로스 어텐션, 자기회귀 생성을 통해 입력 시퀀스를 가변 길이 출력으로 매핑하는 방법을 상세히 다루고, 🤗Transformers 라이브러리로 사용하는 방법을 보여줍니다.
Hugging Face pytorch_block_sparse 릴리스
Hugging Face는 pytorch_block_sparse를 출시했습니다. 이 라이브러리는 BlockSparseLinear 모듈을 제공하여 메모리 사용량을 줄이고 표준 PyTorch 희소 행렬에 비해 계산 효율성을 높여 더 작고 빠른 언어 모델을 만들 수 있게 합니다.
Reformer: 메모리 효율적인 트랜스포머로 언어 모델링의 한계를 넘어서
Hugging Face에서 2020년 7월에 도입된 Reformer 모델은 LSH 셀프 어텐션, 로컬 셀프 어텐션, 청크된 피드 포워드 레이어, 가역적 잔차 레이어, 축 위치 인코딩을 결합하여 8 GB 미만의 RAM으로 최대 50만 토큰 길이의 시퀀스에 대한 훈련을 가능하게 합니다.
Hugging Face 텍스트 생성 디코딩 방법 가이드
Hugging Face는 Greedy Search, Beam Search, Sampling (Top-K 및 Top-p)를 포함한 자기회귀 디코딩 전략에 대한 포괄적인 개요를 제공하여 Transformers에서 개방형 언어 생성을 최적화합니다.
Transformers와 Tokenizers를 사용하여 처음부터 언어 모델 학습시키기
Hugging Face는 Transformers와 Tokenizers 라이브러리를 사용하여 에스페란토 언어를 위한 EsperBERTo를 생성하는 과정을 통해, 새로운 언어 모델을 처음부터 학습시키는 방법에 대한 포괄적인 가이드와 시연을 제공합니다.