Hugging Face Transformers를 사용하여 Amazon SageMaker에서 GPT-J 6B 배포하기
Hugging Face는 torch.save를 사용하여 EleutherAI의 GPT-J 6B 모델을 Amazon SageMaker에 배포하고 모델 로드 시간을 3분 이상에서 8초 미만으로 단축하는 방법을 제공합니다.
AutoNLP와 Prodigy를 활용한 능동 학습(Active Learning)
Hugging Face는 AutoNLP 자동화 학습 프레임워크와 Prodigy 어노테이션 도구를 결합하여 개체명 인식(NER)을 위한 능동 학습 파이프라인을 구축하는 방법을 보여줍니다.
Hugging Face가 Gradio를 인수하다
Hugging Face는 만들기 쉬운 머신러닝 데모 및 GUI를 자사 생태계에 통합하여 비기술적 사용자들에게 ML 접근성을 확장하기 위해 Gradio를 인수했습니다.
WebGPT: Web 브라우징을 통한 GPT-3 사실적 정확도 향상
OpenAI는 텍스트 기반 웹 브라우저를를 사용하여 정보를 조사하고 출처를 인용함으로써, 개방형 질문 답변 시 환각 현상을 줄이는 프로토타입인 WebGPT를 GPT-3를 미세 조정하여 개발했습니다.
Perceiver IO: 어떤 모달리티에도 적용 가능한 확장 가능한 완전 어텐션 모델
Perceiver IO는 잠재 공간을 사용하여 계산량을 입력 크기와 분리시키는 Transformer 기반 아키텍처로, 텍스트, 이미지, 오디오, 비디오, 포인트 클라우드 등을 2차 스케일링 문제 없이 처리할 수 있습니다.
애플리케이션을 위한 GPT-3 커스텀 설정
OpenAI는 GPT-3 미세 조정 기능을 출시하여, 개발자가 독점 데이터를 사용하여 모델을 훈련시켜 신뢰성을 높이고, 비용을 감소시키고, 지연 시간을 개선할 수 있도록 했습니다.
CodeParrot 처음부터 학습시키기
Hugging Face는 2,000만 개의 Python 파일로 구성된 정제된 데이터셋을 사용하여 Python 코드 자동 완성 기능을 제공하기 위해 처음부터 학습된 GPT-2 기반 모델인 CodeParrot를 소개합니다.
허깅 페이스 스노우볼 파이트 ML-Agents 환경
허깅 페이스는 Unity ML-Agents로 구축되고 허깅 페이스 스페이스에 호스팅된 첫 번째 커스텀 딥 강화 학습 환경인 Snowball Fight 1vs1을 출시했습니다.
OpenAI Residency Program Announcement
OpenAI는 다른 분야의 연구원 및 엔지니어를 회사의 정규직 AI 역할로 전환할 수 있도록 설계된 6개월 유급 프로그램인 OpenAI Residency를 출시했습니다.
Graphcore IPU 통합을 위한 Hugging Face Optimum
Hugging Face는 Transformer 모델의 가속을 위해 Graphcore Intelligence Processing Units(IPU)와 Optimum 라이브러리를 통합했으며, 먼저 최적화된 BERT 구현부터 시작합니다.
Hugging Face Data Measurements Tool
Hugging Face는 개발자가 더욱 책임감 있는 AI 개발을 위해 ML 데이터셋을 분석, 큐레이션 및 비교할 수 있도록 설계된 오픈 소스 Python 라이브러리이자 노코드(no-code) 인터페이스인 Data Measurements Tool을 출시했습니다.
Intel 기술을 활용한 PyTorch 분산 미세 조정 가속화
Hugging Face는 Intel extension for PyTorch와 oneCCL을 사용하여 Intel Xeon Scalable CPU 서버 클러스터에 미세 조정 작업을 분산함으로써 PyTorch 훈련을 가속화하는 방법을 보여줍니다.
OpenAI API 접근: GPT-3 대기열 제거
OpenAI는 지원되는 국가의 개발자가 즉시 가입하여 실험을 시작할 수 있도록 GPT-3 API의 대기열을 제거했습니다.
저자원 자동 음성 인식(ASR)을 위한 XLS-R 미세 조정
Hugging Face는 Transformers 라이브러리를 사용하여 저자원 자동 음성 인식(ASR)을 위한 교차 언어 음성 표현 모델인 XLS-R을 미세 조정하는 방법에 대한 기술 가이드를 제공합니다.
최신 CPU에서 BERT와 유사한 모델의 추론 확장 - 파트 2
Hugging Face는 Intel Ice Lake Xeon CPU에서 BERT와 유사한 모델을 위한 소프트웨어 수준의 최적화를 탐구하며, 메모리 할당자, 병렬화 라이브러리, 그리고 Bayesian optimization이 어떻게 추론 지연 시간을 크게 줄일 수 있는지 보여줍니다.
OpenAI의 수학 문장제 문제 해결 및 GSM8K 데이터셋
OpenAI는 학습된 검증기를 사용하여 미세 조정된 GPT-3보다 거의 두 배 높은 정확도로 초등학교 수학 문장제 문제를 해결하는 시스템을 개발했으며, 9-12세 어린이의 60% 정확도에 비해 55%의 정확도를 달성했습니다.
Hugging Face 코스 파트 2 및 커뮤니티 이벤트 출시
Hugging Face는 2021년 11월 15일에 기술 발표와 실습 프로젝트가 포함된 커뮤니티 이벤트를 동반하여 Hugging Face 코스 파트 2를 출시했다고 발표했습니다.
대규모 언어 모델: 새로운 무어의 법칙인가?
Hugging Face는 지수적으로 증가하는 모델 크기 추세, 예를 들어 530B 파라미터 Megatron-Turing NLG를 비판하고, 증류 및 파인튜닝과 같은 실용적이고 효율적인 대안을 옹호합니다.
10억 개의 학습 쌍을 사용한 Hugging Face 문장 임베딩 모델
Hugging Face는 JAX/Flax 및 TPU 인프라를 사용하여 최대 10억 개의 문장 쌍을 학습함으로써 최첨단 범용 문장 임베딩 모델을 개발했습니다.
Hugging Face: 머신러닝 as 코드의 시대
허깅 페이스는 MLOps를 채택하고 범용 트랜스포머 아키텍처를 활용하며, 샌드박스 실험보다 프로덕션 배포를 우선시함으로써 머신러닝을 소프트웨어 엔지니어링 분야로 취급하도록 주장한다.
원격 탐사 및 위성 이미지를 위한 CLIP 미세 조정
연구원들은 RSICD 데이터셋과 기타 위성 이미지를 사용하여 OpenAI의 CLIP 모델을 미세 조정함으로써 원격 탐사 응용 분야를 위한 텍스트-이미지 검색 성능을 significantly improve 시켰습니다.
Hugging Face Spaces와 Gradio 통합
Hugging Face는 Gradio를 Spaces에 통합하여, 사용자가 Inference API 또는 커스텀 모델 체크포인트를 사용하여 머신러닝 모델 데모를 쉽게 호스팅하고 선보일 수 있도록 합니다.
Streamlit을 사용하여 Hugging Face Spaces에 모델 및 데이터셋 호스팅하기
Hugging Face Spaces는 Streamlit과 통합되어 사용자가 머신러닝 모델 및 데이터 시각화를 위한 대화형 데모를 빠르게 구축하고 호스팅할 수 있도록 합니다.
Hugging Face Summer 2021 Update
Hugging Face는 ML 데모 호스팅을 위한 Spaces Beta, TensorBoard 통합, 그리고 하드웨어 가속을 위한 Optimum 라이브러리 출시를 포함하여 일련의 Hub enhancements를 발표했습니다.
OpenAI, 인간 피드백을 이용한 책 요약 (2021)
OpenAI는 인간 피드백으로부터의 강화 학습과 재귀적 작업 분해를 결합하여 전체 책의 요약을 생성하는 기술을 도입했으며, 이는 평가하기 어려운 작업에 대한 AI 감독의 정렬 문제를 해결합니다.
Hugging Face Optimum 출시
Hugging Face는 다양한 하드웨어 플랫폼에서 프로덕션 성능을 위해 Transformer 모델을 최적화하도록 설계된 오픈 소스 툴킷인 Optimum을 도입했습니다.
Hugging Face와 Graphcore의 IPU-최적화된 Transformer 파트너십
Hugging Face와 Graphcore는 하드웨어 파트너 프로그램과 Optimum 라이브러리를 통해 Intelligence Processing Units(IPU)를 Hugging Face 생태계에 통합하여 Transformer 모델 배포를 가속화했습니다.
TruthfulQA: 모델이 인간의 거짓 정보를 어떻게 모방하는지 측정하기
OpenAI는 언어 모델이 38개 범주에 걸쳐 일반적인 인간의 오해와 거짓 정보를 모방하는지 측정하기 위해 설계된 벤치마크인 TruthfulQA를 도입합니다.
Helen Toner OpenAI 이사회 멤버로 합류
OpenAI는 안전하고 책임감 있는 AI 배포에 대한 약속을 강화하기 위해 2021년 9월 8일 AI 정책 및 글로벌 전략 전문가인 Helen Toner를 이사회 멤버로 임명했습니다.
OpenAI Codex: 코드 생성을 위한 GPT-3의 후손
OpenAI Codex는 자연어와 공개 소스 코드 수십억 줄을 모두 학습한 GPT-3의 후손으로, 영어 명령으로부터 작동하는 코드 생성을 가능하게 합니다.
OpenAI Triton 1.0 출시
OpenAI는 연구자들이 깊은 CUDA 전문 지식 없이도 매우 효율적인 GPU 커널을 작성할 수 있게 해주는 오픈 소스 Python 스타일 언어이자 컴파일러인 Triton 1.0을 출시했습니다.
Hugging Face DeDLOC: 인터넷을 통한 언어 모델의 협업 학습
Hugging Face는 다양한 네트워크 및 하드웨어 제약 조건에 적응하여 자원봉사자들이 인터넷을 통해 협업하여 대규모 언어 모델을 사전 학습할 수 있게 하는 분산 학습 방법인 DeDLOC를 소개합니다.
spaCy Hugging Face Hub 통합
Hugging Face는 spaCy를 Hugging Face Hub에 통합하여 사용자가 통합 플랫폼을 통해 spaCy 파이프라인을 공유, 발견 및 배포할 수 있도록 했습니다.
Amazon SageMaker로 Hugging Face 모델을 쉽게 배포하기
Hugging Face와 Amazon SageMaker는 새로운 Inference Deep Learning Containers(DLCs)와 Inference Toolkit을 도입하여 Transformer 모델을 프로덕션 수준의 엔드포인트에 배포하는 과정을 간소화했습니다.
코드로 학습된 대규모 언어 모델 평가: OpenAI Codex
OpenAI는 GitHub 코드로 미세 조정된 GPT 모델인 Codex를 소개합니다. Codex는 단일 시도에서 HumanEval 문제의 28.8%를 해결하며, 반복 샘플링을 사용하면 최대 70.2%까지 해결할 수 있습니다.
Hugging Face Hub에서의 Sentence Transformers 통합
Hugging Face는 Sentence Transformers를 Hub에 통합하여 100개 이상의 언어에 대해 90개 이상의 사전 학습된 모델과 특징 추출 및 문장 유사도를 위한 새로운 대화형 위젯을 제공합니다.
OpenAI 연구: 선별된 데이터셋 미세 조정을 통한 언어 모델 행동 개선
OpenAI 연구원들은 100개 미만의 소규모 선별 데이터셋으로 GPT-3를 미세 조정하는 것이 다운스트림 성능을 저해하지 않으면서 특정 행동 가치에 대한 모델의 준수성을 크게 향상시킬 수 있음을 발견했습니다.
Few-Shot Learning with GPT-Neo and Hugging Face Accelerated Inference API
Hugging Face는 오픈소스 GPT‑Neo 모델과 Accelerated Inference API를 활용한 few‑shot learning 적용 사례를 탐구하여, 방대한 라벨링 데이터 없이도 작업 일반화를 가능하게 합니다.
Gradio 2.0를 사용한 Hugging Face 모델 활용 및 혼합
Gradio 2.0을 사용하면 머신러닝 개발자가 단 한 줄의 코드로 Hugging Face 모델을 GUI로 로드하고 배포할 수 있으며, 병렬 및 직렬 모델 구성을 모두 지원합니다.
OpenAI Scholars 2021: 최종 프로젝트
OpenAI는 2021 Scholars 프로그램의 최종 프로젝트를 발표했으며, 다양한 연구자 그룹으로부터 스케일링 법칙, 보상 모델링, 강화 학습에 대한 연구를 특징으로 합니다.
Will Hurd OpenAI 이사회 합류
OpenAI는 공공 정책 전문성을 기술적 AI 개발과 통합하기 위해 전 미국 하원의원 Will Hurd를 이사회 멤버로 임명했습니다.
CPU에서 BERT 추론 확장하기 (Part 1)
Hugging Face는 현대적인 CPU에서 BERT 추론을 위한 하드웨어 수준의 최적화를 탐구하며, NUMA 인지 친화성을 통해 특정 물리적 코어에 바인딩된 여러 독립적인 모델 인스턴스를 사용함으로써 처리량을 선형적으로 확장할 수 있음을 보여줍니다.
Hugging Face Accelerate 라이브러리 출시
Hugging Face는 사용자가 보일러플레이트 코드를 다시 작성하지 않고도 멀티 GPU 및 TPU를 포함한 모든 디바이스 구성에서 원본 학습 스크립트를 실행할 수 있게 해주는 PyTorch 라이브러리인 Accelerate를 출시했습니다.
Hugging Face와 Amazon SageMaker를 통한 요약용 BART 및 T5의 분산 학습
Hugging Face와 Amazon SageMaker는 BART와 T5와 같은 Transformers 모델의 분산 학습을 단순화하기 위해 최적화된 Deep Learning Containers 및 전용 HuggingFace estimator를 제공하기 위해 통합되었습니다.
Understanding BigBird's Block Sparse Attention
BigBird는 블록 희소 어텐션을 도입해 Transformer의 계산 복잡도를 2차에서 선형으로 낮추어 최대 4096 토큰까지 시퀀스를 처리할 수 있게 합니다.
GPT-3 API 생태계 및 애플리케이션 성장
OpenAI는 300개 이상의 애플리케이션과 수만 명의 개발자가 다양한 산업 분야에서 GPT-3를 사용하여 하루 평균 45억 개의 단어를 생성하고 있다고 보고합니다.
Amazon SageMaker와 Hugging Face 파트너십
Hugging Face와 Amazon은 전용 Deep Learning Containers (DLCs) 및 Python SDK 확장을 통해 Hugging Face Transformers를 Amazon SageMaker에 통합함으로써 NLP 모델 학습 및 배포를 가속화하기 위해 파트너십을 맺었습니다.
Google Cloud Run에 Hugging Face Transformers 감성 분석 파이프라인 배포하기
커뮤니티 멤버가 DistilBERT 모델을 사용하여 Google Cloud Run에서 Hugging Face 감성 분석 파이프라인을 서비스하는 방법을 시연했으며, 최소한의 월 비용으로 5초 미만의 지연 시간을 달성했습니다.
Hugging Face Transformers를 사용하여 영어 ASR을 위한 Wav2Vec2 미세 조정하기
Hugging Face는 Connectionist Temporal Classification (CTC) 손실을 사용하여 영어 자동 음성 인식(ASR)을 위한 Wav2Vec2 사전 학습 음성 모델을 미세 조정하는 방법에 대한 상세한 가이드를 제공합니다.
Hugging Face Reads: Long-range Transformers
Hugging Face는 표준 Transformer self-attention의 이차적 메모리 및 시간 복잡도를 선형 복잡도로 줄이기 위해 설계된 네 가지 핵심 아키텍처—Longformer, Compressive Transformer, Linformer, Performer—를 분석합니다.