Hugging Face 오디오 데이터셋 가이드 – 로드, 처리 및 스트리밍
Hugging Face는 🤗 Datasets 라이브러리를 사용해 Hub에서 모든 오디오 데이터셋을 몇 줄의 파이썬 코드만으로 로드, 전처리 및 스트리밍할 수 있음을 보여주는 포괄적인 가이드를 발표했으며, 이를 통해 음성 및 오디오 작업에 대한 효율적인 연구가 가능해졌습니다.
Hugging Face 윤리와 사회 뉴스레터 #2: 머신러닝 편향 다루기
Hugging Face는 편향을 작업 정의, 데이터셋 정제, 모델 훈련 전반에 걸쳐 해결해야 할 위험 요인으로 간주하는 사회기술적 프레임워크를 제시합니다.
Habana Gaudi2 vs Nvidia A100 80GB 성능 벤치마크
Hugging Face 벤치마크에 따르면 Habana Gaudi2는 BERT, Stable Diffusion, T5-3B 모델에 대해 학습 및 추론 모두에서 Nvidia A100 80GB 대비 약 두 배의 처리량을 제공합니다.
Hugging Face, 순수 Elixir에서 Transformers와 Stable Diffusion을 지원하는 Bumblebee 발표
Hugging Face는 순수 Elixir로 구현된 Transformers인 Bumblebee를 출시했습니다. 이 라이브러리는 GPT‑2부터 Stable Diffusion까지의 모델을 Elixir 생태계에 도입하여, 외부 의존성 없이 네이티브 CPU/GPU 추론을 가능하게 합니다.
인간 피드백 기반 강화 학습 (RLHF) 설명하기
Hugging Face는 인간의 선호도를 기반으로 한 보상 모델을 사용하여 대규모 언어 모델을 최적화함으로써, 복잡한 인간의 가치에 맞게 모델을 정렬하는 3단계 프로세스인 인간 피드백 기반 강화 학습 (RLHF)을 설명합니다.
OpenAI 슈퍼컴퓨팅 인프라 및 백엔드 시스템 엔지니어링
OpenAI 엔지니어 Jake Stangel은 수십억 달러 규모의 슈퍼컴퓨팅 클러스터를 관리하면서, 극한 규모가 다른 사용자에게는 보이지 않는 하드웨어 및 커널 문제를 드러내는 기술적 도전 과제를 설명합니다.
단백질을 활용한 딥러닝 – Hugging Face 가이드: 단백질 언어 모델 및 폴딩
Hugging Face는 단백질 언어 모델을 파인튜닝하고 ESMFold를 사용해 단백질 폴딩을 수행하는 튜토리얼 시리즈를 발표했으며, NLP에서 사용되는 전이 학습 기법을 단백질 서열 작업에 직접 적용할 수 있음을 보여줍니다.
🤗 Transformers를 이용한 시계열 Transformer 확률적 예측
Hugging Face는 전역 확률 시계열 예측을 위한 기본 Transformer 모델을 출시했으며, Tourism Monthly 벤치마크에서 최첨단 성능을 입증했습니다.
Apple Silicon에서 Stable Diffusion Core ML – 실행 및 최적화 방법
Hugging Face는 Apple Silicon용 Core ML 변환 Stable Diffusion 체크포인트를 출시했으며, Python 또는 Swift에서 M1 Max 기준 이미지당 최대 18초로 온디바이스 이미지 생성을 가능하게 합니다.
OpenAI가 소개하는 ChatGPT
OpenAI는 GPT-3.5 시리즈를 기반으로 인간 피드백을 통한 강화 학습(RLHF)으로 훈련된 대화형 AI 모델인 ChatGPT를 출시했으며, 대화 형식으로 상호작용하도록 설계되었습니다.
VQ-Diffusion: 이산 공간에서의 조건부 잠재 확산
VQ-Diffusion은 양자화된 이산 잠재 공간에서 작동하는 조건부 잠재 확산 모델로, 기존의 자동 회귀 모델보다 빠른 추론과 높은 이미지 품질을 제공합니다.
Hugging Face 2023 인턴십 프로그램
Hugging Face는 책임 있는 머신러닝을 민주화하기 위해 오픈소스, 과학, 사회적 영향 팀 전반에 걸친 역할을 제공하는 2023 인턴십 프로그램을 발표했습니다.
Hugging Face 확산 모델 클래스 및 커뮤니티 이벤트
Hugging Face는 2022년 11월 28일 시작되는 무료 확산 모델 클래스를 발표했으며, 11월 30일에 Stability AI, Meta, Runway의 연구원들이 참여하는 라이브 커뮤니티 이벤트가 함께 진행됩니다.
Hugging Face 머신러닝 인사이트 디렉터 파트 4
네 명의 머신러닝 디렉터가 전자상거래, 엔지니어링, 교육, SaaS 분야에서 ML의 영향, 과제 및 통합 함정에 대한 산업별 인사이트를 공유합니다.
Hugging Face 추론 솔루션 개요 2022년 11월
Hugging Face는 위젯, API, Inference Endpoints, Spaces 등 무료 및 유료 추론 옵션을 발표해 모델 테스트, 배포 및 프로덕션 확장을 간소화했습니다.
Hugging Face 문서 AI 가속화
Hugging Face는 오픈소스 멀티모달 모델을 활용하여 기업 워크플로우에서 문서 분류, 파싱 및 시각적 질문 응답을 자동화하는 포괄적인 가이드를 제공합니다.
동형 암호화를 이용한 암호화된 데이터에 대한 감성 분석
Hugging Face는 Concrete-ML 라이브러리를 사용하여 BERT 트랜스포머와 XGBoost를 결합한 완전 동형 암호화(FHE) 방식으로 암호화된 데이터에 대한 감성 분석을 수행하는 방법을 보여줍니다.
머신러닝 데모를 위한 Hugging Face와 arXiv 통합
Hugging Face는 Hugging Face Spaces와 arXivLabs를 통합하여 arXiv 논문 초록 페이지에서 직접 인터랙티브 머신러닝 데모를 제공합니다.
OFA: 하나의 모델을 위한 구축을 향해
OFA는 지시 기반 멀티태스크 사전학습을 활용하여 모달리티 전반에 걸친 이해와 생성 작업을 하나의 프레임워크로 통합하는 통합 멀티모달 사전학습 모델이다.
Hugging Face 가격 업데이트 2022년 11월
Hugging Face는 컴퓨트 기반 수익 모델로 전환했으며, Inference API의 유료 티어를 종료하고 Inference Endpoints와 Spaces의 하드웨어 업그레이드로 대체했습니다.
Transformers에서 인간 수준 텍스트 생성을 위한 대조 검색
Hugging Face는 transformers 라이브러리에 대조 검색을 통합했으며, 이 디코딩 방법은 모델 퇴화를 방지하고 오프‑더‑쉘프 모델을 사용해 16개 언어 전반에 걸쳐 의미적 일관성을 유지합니다.
Dreambooth Stable Diffusion 파인‑튜닝 가이드 with Diffusers
Hugging Face는 Diffusers 라이브러리를 사용한 Dreambooth로 Stable Diffusion을 학습하기 위한 상세 권장 사항을 발표했으며, 낮은 학습률, 충분한 단계, 얼굴에 대한 prior preservation, 텍스트‑인코더 파인‑튜닝이 가장 높은 품질의 결과를 제공한다는 것을 보여줍니다.
OpenAI DALL·E API 공개 베타 발표
OpenAI는 DALL·E 이미지 생성 API가 이제 공개 베타로 제공된다고 발표했으며, 이를 통해 개발자는 최첨단 이미지 생성 및 내장된 검열 기능을 앱에 통합할 수 있게 되었습니다.
Hugging Face Transformers와 함께 다국어 ASR를 위한 Whisper 파인튜닝
Hugging Face는 OpenAI의 Whisper 모델을 다국어 자동 음성 인식(ASR)용으로 파인튜닝하는 포괄적인 가이드를 제공하며, 8시간의 데이터만으로 힌디어에서 WER을 31.5% 절대적으로 개선한 사례를 보여줍니다.
Hugging Face Optimum Intel 및 OpenVINO 통합
Hugging Face는 Intel OpenVINO를 Optimum Intel에 통합하여 Intel 하드웨어에서 Transformer 모델에 대한 가속 추론 및 양자화를 가능하게 했습니다.
🤗 Evaluate 로 언어 모델 편향 평가
Hugging Face는 🤗 Evaluate 라이브러리에 편향 메트릭—toxicity, language polarity, HONEST—을 추가하여 인과 언어 모델에서 해로운 언어를 체계적으로 측정할 수 있게 했습니다.
PyTorch DDP, Accelerate 및 Transformers Trainer를 활용한 분산 학습
Hugging Face는 네이티브 PyTorch DDP, Accelerate 라이브러리, 그리고 고수준 Transformers Trainer API라는 세 가지 추상화 레벨을 사용하여 분산 학습을 구현하는 방법을 설명합니다.
OpenAI 보상 모델 과최적화에 대한 스케일링 법칙
OpenAI는 불완전한 프록시 보상 모델에 대해 최적화하면 결국 실제 성능이 저하되며, 이는 모델 파라미터와 데이터셋 크기에 기반한 예측 가능한 스케일링 법칙을 따른다고 밝혔습니다.
MTEB: 대규모 텍스트 임베딩 벤치마크
Hugging Face는 텍스트 임베딩 모델의 성능을 평가하기 위해 8개의 작업에 걸쳐 56개의 데이터셋으로 구성된 대규모 다국어 벤치마크인 MTEB를 도입했습니다.
Hugging Face 추론 엔드포인트
Hugging Face Inference Endpoints는 사용자가 Hugging Face Hub에서 머신러닝 모델을 몇 번의 클릭만으로 확장 가능하고 안전한 클라우드 인프라에 배포할 수 있게 해주는 관리형 서비스입니다.
Stable Diffusion JAX 및 Flax 통합
Hugging Face Diffusers 버전 0.5.1은 Flax 지원을 도입하여 JAX를 통해 Google TPU에서 고속 Stable Diffusion 추론을 가능하게 합니다.
Hugging Face BLOOM 추론 최적화
Hugging Face는 파이프라인 병렬 처리에서 텐서 병렬 처리로 전환하고 맞춤형 CUDA 커널을 구현함으로써 BLOOM 모델의 지연 시간을 5배 감소시키고 처리량을 50배 증가시켰습니다.
Hugging Face, 모델 및 데이터셋에 대한 DOI 지원 도입
Hugging Face는 이제 사용자가 Hub 모델 및 데이터셋에 대한 디지털 객체 식별자(DOI)를 생성할 수 있게 하여, 버전이 바뀌어도 지속되는 영구적인 인용 링크를 제공합니다.
rinna의 일본어 Stable Diffusion 출시
rinna는 일본어 프롬프트에서 문화적으로 적절한 이미지를 생성하는 Stable Diffusion의 일본어 파인‑튜닝 버전을 출시했습니다.
Hugging Face Hub에서 제로샷 평가
Hugging Face는 Hub에서 인과 언어 모델을 위한 제로샷 평가를 도입하여, 사용자가 코드를 작성하지 않고도 최대 660억 파라미터 모델을 벤치마크할 수 있게 했습니다.
OpenAI DALL·E 베타, 대기자 명단 없이 이용 가능
OpenAI는 DALL·E 베타의 대기자 명단을 제거하여 현재 150만 명이 넘는 사용자가 하루에 200만 장 이상의 이미지를 생성하고 있는 시스템에 즉시 가입할 수 있게 했습니다.
Hugging Face AutoTrain 이미지 분류
Hugging Face가 AutoTrain에 이미지 분류 기능을 추가하여 사용자가 코드를 작성하거나 하이퍼파라미터를 설정하지 않고도 맞춤형 이미지 분류 모델을 학습할 수 있게 했습니다.
Hugging Face Accelerate: PyTorch로 대형 모델 실행
Hugging Face Accelerate는 PyTorch의 메타 디바이스와 샤드 체크포인트를 활용하여 GPU, CPU RAM, 디스크에 걸쳐 메모리를 관리함으로써 소비자 하드웨어에서도 대규모 AI 모델을 실행할 수 있게 합니다.
SetFit: 프롬프트 없이 효율적인 Few-Shot 학습
Hugging Face는 최소한의 라벨링 데이터로 높은 정확도를 달성하는 프롬프트 없는 Sentence Transformers의 Few-Shot 파인튜닝 프레임워크인 SetFit를 소개합니다.
Hugging Face 윤리와 사회 뉴스레터 #1
Hugging Face는 윤리와 사회 뉴스레터를 소개하고 협업, 투명성, 책임을 통한 분산형 가치 기반 AI 윤리 구현 접근 방식을 제시합니다.
OpenAI Whisper 릴리스
OpenAI는 Whisper를 출시했습니다. Whisper는 다국어 및 다중 작업 감독 데이터 68만 시간으로 학습된 자동 음성 인식(ASR) 시스템으로, 억양, 잡음 및 언어 전반에 걸친 견고성을 향상시킵니다.
DeepSpeed와 Accelerate를 활용한 놀라운 속도의 BLOOM 추론
Hugging Face는 8×80 GB A100 GPU에서 DeepSpeed‑Inference 텐서 병렬화와 Accelerate 파이프라인 병렬화를 사용하여 176B 파라미터 BLOOM 모델이 토큰당 1밀리초 미만의 속도로 생성될 수 있음을 보여줍니다.
Diffusers 0.3 릴리스, 이미지‑투‑이미지, 텍스트 인버전, 인페인팅, GPU 최적화, Mac MPS, ONNX 지원 및 새로운 문서 추가
Hugging Face가 Diffusers 버전 0.3을 발표했습니다. 이번 업데이트에는 이미지‑투‑이미지, 텍스트 인버전, 실험적 인페인팅, 소형 GPU 최적화, Mac MPS 지원, ONNX 내보내기 기능, 확장된 문서 및 다양한 커뮤니티 프로젝트가 포함됩니다.
오프라인 강화학습을 위한 Decision Transformers 훈련
Hugging Face는 transformers Trainer와 커스텀 data collator를 사용하여 HalfCheetah 환경을 해결하기 위해 처음부터 오프라인 Decision Transformer를 훈련하는 가이드와 구현을 제공합니다.
Megatron-LM으로 언어 모델 훈련하기
Hugging Face는 NVIDIA의 Megatron-LM 프레임워크를 사용하여 GPU에서 대형 언어 모델을 효율적으로 사전 훈련하고, Transformers 라이브러와의 통합 방법을 제공하는 가이드를 제공합니다.
DALL·E 아웃페인팅 기능 출시
OpenAI는 DALL·E용 아웃페인팅을 도입했으며, 사용자가 자연어 설명을 활용해 이미지의 원래 경계를 넘어 확장하면서 시각적 일관성을 유지할 수 있게 했습니다.
OpenRAIL: 개방적이고 책임 있는 AI 라이선스 프레임워크를 향하여
Hugging Face는 머신러닝 모델의 책임 있는 배포를 촉진하기 위해 개방 접근과 사용 기반 제한을 결합한 AI 전용 라이선스 세트인 OpenRAIL을 발표했습니다.
OpenAI, 인간 피드백을 통한 강화학습 및 InstructGPT를 활용한 정렬 전략 발표
OpenAI는 인간 피드백을 통한 강화학습과 InstructGPT를 효과적이고 저비용인 방법으로 강조하며, 언어 모델이 인간 의도를 따르도록 만들면서 현재의 한계와 AI 기반 정렬 연구의 향후 목표를 상세히 설명했습니다.
Hugging Face Spaces에서 단백질 시각화
Hugging Face는 Gradio를 통해 3Dmol.js를 Hugging Face Spaces에 통합하여 브라우저에서 3D 단백질 구조 시각화를 가능하게 하는 가이드를 제공합니다.
Hugging Face Transformers와 Habana Gaudi를 사용한 BERT 사전 학습
Hugging Face는 AWS의 Habana Gaudi DL1 인스턴스를 사용하여 BERT-base를 처음부터 사전 학습하는 방법을 보여주며, NVIDIA V100 GPU 기반 학습에 비해 25% 비용 절감을 달성했습니다.