허깅 페이스 오픈 소스 AI 게임 잼 발표
허깅 페이스는 2023년 7월 7일부터 9일까지 오픈 소스 AI 게임 잼을 개최하여 게임 개발자들이 오픈 소스 생성형 AI 도구를 개발 워크플로우와 게임 기능에 통합하도록 장려합니다.
허깅 페이스 LLM 추론 컨테이너 Amazon SageMaker용
허깅 페이스는 Text Generation Inference(TGI)를 기반으로 한 목적에 맞춘 LLM 추론 컨테이너(DLC)를 Amazon SageMaker용으로 출시하여 오픈소스 대형 언어 모델의 고성능 배포를 가능하게 했습니다.
NNCF와 🤗 Optimum을 사용한 Intel CPU용 Stable Diffusion 최적화
Hugging Face는 NNCF와 Optimum을 사용하여 Stable Diffusion을 양자화하고 Token Merging을 적용하는 워크플로를 발표했으며, Intel CPU에서 최대 5.1x 추론 속도 향상과 모델 풋프린트 4x 감소를 달성했습니다.
Azure Machine Learning에서의 Hugging Face 모델 카탈로그
Hugging Face와 Microsoft는 Azure Machine Learning Studio 내에서 Hugging Face Hub 모델 카탈로그의 네이티브 통합을 출시하여 보안 Azure 인프라에서 오픈소스 모델 배포를 간소화했습니다.
Hugging Face 4비트 양자화 및 QLoRA 출시
Hugging Face는 bitsandbytes를 통한 4비트 양자화 지원과 QLoRA 방식을 발표하여, 소비자용 GPU에서 대형 언어 모델의 추론 및 어댑터 파인튜닝을 가능하게 했습니다.
InstructPix2Pix와 함께 Stable Diffusion 명령어 튜닝
Hugging Face는 InstructPix2Pix를 확장하여 Stable Diffusion이 다중 작업 명령어 튜닝 접근 방식을 통해 특정 이미지 변환 및 저수준 처리 명령을 따르도록 교육하는 방안을 탐구합니다.
Hugging Face Safetensors 보안 감사 및 기본 채택
Hugging Face, EleutherAI, 그리고 Stability AI는 Trail of Bits의 보안 감사를 통해 임의 코드 실행을 초래하는 중요한 결함이 없음을 확인한 후, safetensors를 기본 모델 저장 형식으로 전환하고 있습니다.
Hugging Face와 IBM의 watsonx.ai 파트너십
Hugging Face와 IBM은 Hugging Face 오픈소스 라이브러리와 모델을 watsonx.ai에 통합하기 위해 파트너십을 체결했습니다. watsonx.ai는 기반 모델을 학습, 튜닝 및 배포하기 위한 엔터프라이즈 AI 스튜디오입니다.
Q8-Chat: 인텔 Xeon CPU에서 효율적인 생성 AI
Hugging Face와 Intel은 SmoothQuant를 사용해 LLM을 8비트 정수로 압축하면 고품질 채팅 경험을 단일 소켓 인텔 Xeon CPU에서 효율적으로 실행할 수 있음을 보여줍니다.
BigCode 뒤의 대규모 근접 중복 제거
Hugging Face는 MinHash와 Locality Sensitive Hashing (LSH)를 활용해 BigCode 프로젝트를 위한 대규모 근접 중복 제거를 수행하는 방법을 상세히 설명하며, 근접 중복 데이터를 제거하면 모델 성능과 훈련 효율성이 향상된다는 것을 보여줍니다.
RWKV 아키텍처를 Hugging Face Transformers에 통합
Hugging Face는 RWKV RNN‑Transformer 하이브리드 모델을 Transformers 라이브러리에 통합했다고 발표했으며, 이를 통해 RNN 효율성과 Transformer 성능을 결합한 오픈소스 장기 컨텍스트 언어 모델을 사용할 수 있게 되었습니다.
ROCm을 사용한 AMD GPU에서 Vicuna 13B 실행
Hugging Face는 ROCm과 GPTQ 4비트 양자화를 사용해 Vicuna 13B 오픈소스 챗봇을 단일 AMD GPU에 배포하는 기술 가이드를 제공하며, 메모리 요구량을 28GB에서 7.52GB로 줄입니다.
Hugging Face, CNIL 향상 지원 프로그램에 선정
Hugging Face는 프랑스 데이터 보호 기관(CNIL)으로부터 향상 지원 프로그램에 선정되어 AI 개발에서 데이터 보호 및 GDPR 준수 구현을 개선하고 있습니다.
Hugging Face 저지연 텍스트 생성을 위한 Assisted Generation
Hugging Face는 작은 어시스턴트 모델이 후보 토큰을 예측하고, 큰 모델이 이를 검증하는 방식의 **Assisted Generation** 디코딩 방법을 도입했으며, 이를 통해 일부 하드웨어 구성에서 지연 시간을 최대 10배까지 줄일 수 있습니다.
StarCoder로 코딩 어시스턴트 만들기 – 요약
이 글에서는 Hugging Face 팀이 16 B 파라미터 StarCoder 코드 생성 모델을 대화형 코딩 어시스턴트(StarChat‑α)로 전환한 과정을 설명합니다. 특수 채팅 토큰을 추가하고, 필터링된 Open‑Assistant 대화 데이터셋을 준비하며, DeepSpeed ZeRO‑3로 파인튜닝함으로써 사용자 프롬프트를 이해하고 실행 가능한 코드를 생성할 수 있는 모델을 훈련했습니다(예: 플롯, 지도, 시각화). 또한 토크나이저 설정, 사용자 턴에 대한 손실 마스킹, 학습 환경, 평가(벤치마크 및 LLM 기반) 및 제한 사항과 향후 방향에 대해서도 다룹니다. 최종 모델은 허브에 공개되어 있습니다.
텍스트-비디오 모델 탐구
Hugging Face는 텍스트-비디오 생성 모델의 진화를 기술적으로 개요하며, GAN에서 Transformer 및 Diffusion 아키텍처로의 전환을 상세히 설명하고, 시간적 일관성 및 데이터 부족이라는 고유한 과제를 강조합니다.
StarCoder 릴리스 노트
Hugging Face와 ServiceNow의 BigCode 협업은 허가된 라이선스 데이터로 학습된 15B 파라미터 코드 LLM인 StarCoder와 StarCoderBase를 출시했으며, 프로그래밍 벤치마크에서 여러 오픈 및 클로즈드 모델을 능가합니다.
Hugging Face Unity API 설치 및 사용 가이드
Hugging Face Unity API는 전용 패키지와 API 마법사를 통해 개발자가 Hugging Face Inference API 모델을 Unity 프로젝트에 통합할 수 있도록 합니다.
Hugging Face Transformers, TensorFlow 및 TPU를 사용한 언어 모델 훈련
Hugging Face는 TensorFlow와 TPU 팟을 사용해 처음부터 마스크 언어 모델을 훈련하기 위한 확장 가능한 종단 간 가이드를 제공하며, 고성능 컴퓨팅을 위해 XLA 호환성을 활용합니다.
Databricks와 Hugging Face, Apache Spark를 통합해 LLM 학습 속도 향상
Databricks는 Dataset.from_spark() 함수를 통해 Hugging Face Datasets에 본격적인 Apache Spark 지원을 도입했으며, 대규모 모델 학습 및 튜닝 시 데이터 로딩 시간을 최대 40%까지 단축했습니다.
Diffusers와 함께 무료 티어 Google Colab에서 DeepFloyd IF 실행하기
Hugging Face는 8‑비트 양자화, 모듈식 파이프라인 로딩, Diffusers와 통합된 최적화를 활용해 무료 Google Colab 노트북에서 오픈‑소스 DeepFloyd IF 텍스트‑투‑이미지 모델을 실행하는 방법을 보여줍니다.
Hugging Face, 전 세계 AI 커뮤니티 지원을 위한 중국어 블로그 개설
Hugging Face는 번역된 기술 자료를 제공하고 중국 AI 커뮤니티와의 협업을 강화하기 위해 전용 중국어 블로그 (hf.co/blog/zh)를 개설했습니다.
Hugging Face Spaces에서 Unity 게임 호스팅
Hugging Face Spaces는 Static HTML 템플릿과 WebGL 빌드 타깃을 활용하여 플레이 가능한 Unity 게임을 호스팅할 수 있습니다.
AWS Inferentia2와 함께 Hugging Face Transformers 가속화
Hugging Face와 AWS는 대규모 모델의 지연 시간을 크게 줄이고 처리량을 높이는 전용 추론 가속기인 AWS Inferentia2용 Transformer를 최적화했습니다.
Transformers를 이용한 그래프 분류
Hugging Face는 Transformers 라이브러리 내에서 Graphormer 모델을 사용해 그래프 분류를 수행하는 방법을 보여주며, 데이터 포맷팅, 전처리 및 파인튜닝을 다룹니다.
Substra를 활용한 프라이버시 보호 AI 만들기
허깅페이스와 Substra는 연합 학습이 어떻게 분산된 데이터 소스 전반에 걸쳐 AI 모델을 훈련시켜 프라이버시와 보안을 유지할 수 있는지, 특히 의료와 같은 민감한 분야에서 강조합니다.
기업용 기반 모델을 위한 Snorkel AI와 Hugging Face 통합
Snorkel AI는 Hugging Face와 파트너십을 맺어 Hugging Face Inference Endpoints를 Snorkel Flow에 통합했습니다. 이를 통해 기업은 150,000개가 넘는 오픈소스 기반 모델에 손쉽게 접근하고 맞춤화할 수 있습니다.
StackLLaMA: Stack Exchange를 위한 RLHF 기반 LLaMA 훈련
Hugging Face는 Stack Exchange 질문에 답변하도록 지도 학습 미세조정, 보상 모델링, 그리고 인간 피드백 기반 강화 학습(RLHF)을 활용해 훈련된 모델인 StackLLaMA를 소개합니다.
Hugging Face 윤리와 사회 뉴스레터 #3: 윤리적 개방성 이니셔티브
Hugging Face는 여섯 가지 윤리 태그, 플래깅 시스템, 그리고 청중을 안내하는 메타데이터를 포함한 새로운 윤리적 개방성 조치를 발표하여 오픈소스 ML을 보다 안전하고 포용적으로 만들고자 합니다.
Intel Sapphire Rapids CPU에서 Stable Diffusion 추론 가속화
Hugging Face는 Optimum Intel, OpenVINO, 시스템 수준 튜닝, IPEX BF16, 그리고 더 빠른 스케줄러를 활용해 Intel Sapphire Rapids CPU에서 Stable Diffusion 이미지 생성 시간을 32초에서 약 5초로 단축하는 방법을 보여줍니다.
BLOOMZ 추론 on Habana Gaudi2 가속기
Hugging Face는 Habana Gaudi2 가속기가 Optimum Habana 라이브러리와 DeepSpeed-inference를 활용하여 BLOOMZ 176B 모델에 대해 Nvidia A100 80GB보다 더 빠른 추론을 달성한다는 것을 보여줍니다.
Hugging Face와 Flower를 이용한 연합 학습
Hugging Face는 Flower 프레임워크를 사용해 사전 학습된 distilBERT 모델을 IMDB 데이터셋의 감성 분석에 적용하는 연합 학습 방법을 보여줍니다.
Hugging Face Diffusers로 ControlNet 훈련하기
Hugging Face는 diffusers 라이브러리를 통해 포괄적인 가이드와 훈련 스크립트를 제공하여 사용자가 Stable Diffusion용 맞춤 ControlNet 모델을 훈련할 수 있도록 지원하며, 'Uncanny Faces' 포즈 모델 제작 사례로 이를 보여줍니다.
Hugging Face Hub 향상된 Jupyter Notebook 지원
Hugging Face는 Hub에 호스팅된 Jupyter Notebook에 대한 인간이 읽을 수 있는 렌더링을 도입하여 머신러닝 실무자들의 재현성 및 접근성을 향상시켰습니다.
Informer를 활용한 다변량 확률적 시계열 예측
Hugging Face는 계산 및 메모리 복잡성을 줄여 효율적인 다변량 확률적 시계열 예측을 가능하게 하기 위해 Informer 모델을 Transformers 라이브러리에 통합했습니다.
24GB 소비자 GPU에서 RLHF를 이용한 20B LLM 파인튜닝
Hugging Face는 TRL과 PEFT의 통합을 발표했으며, 이를 통해 8비트 양자화와 저랭크 어댑터를 사용해 24 GB GPU 하나에서 200억 파라미터 언어 모델의 강화 학습 파인튜닝이 가능해졌습니다.
Kakao Brain ViT 및 ALIGN 모델, COYO 700M 데이터셋과 함께 공개
Kakao Brain과 Hugging Face가 새로운 700 M 이미지‑텍스트 COYO 데이터셋으로 학습된 오픈소스 ViT와 ALIGN 시각‑언어 모델을 공개했습니다. 이는 최초의 공개 ALIGN 모델이자 재현 가능한 학습 데이터를 갖춘 ViT 모델을 제공한다는 의미입니다.
Diffusers의 ControlNet
Hugging Face는 Diffusers 라이브러리에 ControlNet을 통합하여 Canny 엣지, 깊이 맵, 인간 포즈와 같은 조건을 사용해 Stable Diffusion 이미지 생성에 정밀한 공간 제어를 가능하게 했습니다.
재난 대응을 위한 머신러닝 활용: afetharita 프로젝트
Hugging Face는 자원봉사자들이 Hugging Face 생태계를 활용해 2023년 2월 터키 지진 피해자들을 돕기 위해 OCR, NER 및 원격 감지를 위한 머신러닝 모델을 신속히 배포한 과정을 설명합니다.
Hugging Face Diffusers 윤리 가이드라인
Hugging Face는 Diffusers 라이브러리를 위한 윤리 프레임워크를 도입하여 기술적 결정과 커뮤니티 기여를 안내하고, 확산 모델의 잠재적인 사회적 위험을 완화합니다.
Hugging Face 전문가 가속 프로그램: Witty Works 사례 연구
Witty Works는 Hugging Face 전문가 가속 프로그램과 SetFit을 활용하여 최소한의 라벨링 데이터로 높은 정확도의 문맥 의존 포괄적 언어 분류기를 구축했습니다.
Swift Diffusers for Mac 1.1 릴리스
Hugging Face는 Diffusers for Mac 버전 1.1을 출시했습니다. 이 네이티브 오픈소스 앱은 Core ML을 활용해 Apple Silicon에서 Stable Diffusion을 가속화하며, 특정 하드웨어 구성에서 최대 2배 빠른 생성 속도를 제공합니다.
대형 언어 모델 레드팀
Hugging Face는 유해한 출력을 방지하기 위해 LLM 취약점을 식별하는 데 있어 레드팀의 중요한 역할을 강조하며, 협업적이고 적응적인 평가 방법의 필요성을 강조합니다.
Fetch AI 인프라 마이그레이션: Hugging Face와 AWS를 활용한 도구 통합
Fetch는 서드파티 AI '블랙 박스'에서 Hugging Face와 AWS 기반의 자체 ML 파이프라인으로 전환함으로써 개발 시간을 30% 단축하고 처리 지연 시간을 50% 감소시켰습니다.
Hugging Face와 AWS의 AI 접근성을 위한 전략적 파트너십
Hugging Face와 AWS는 Hugging Face 모델을 AWS 인프라와 특수 설계된 ML 가속기에 통합하여 생성 AI를 민주화하기 위해 전략적 파트너십을 확대했습니다.
Hugging Face Inference Endpoints 사례 연구
Hugging Face는 운영 복잡성을 줄이고 지연 시간을 개선하기 위해 CPU 기반 ML 모델을 AWS ECS/Fargate에서 Hugging Face Inference Endpoints로 이전하고 있습니다.
BLIP-2: 제로샷 이미지-텍스트 생성
BLIP-2는 Salesforce Research에서 개발한 비주얼-언어 모델로, Querying Transformer(Q-Former)를 사용해 고정된 이미지 인코더와 고정된 대형 언어 모델을 연결함으로써 효율적인 제로샷 이미지-텍스트 생성을 가능하게 합니다.
🤗 PEFT 라이브러리 출시, 억대 규모 모델의 파라미터 효율적 파인튜닝 가능
Hugging Face는 🤗 PEFT 라이브러리를 발표했으며, 사용자가 파라미터의 아주 작은 부분만 학습함으로써 저자원 하드웨어에서도 억대 파라미터 모델을 파인튜닝할 수 있게 합니다.
SpeechT5: 통합 모달 인코더-디코더를 이용한 음성 처리
Hugging Face는 통합된 Transformer 기반 모델인 SpeechT5를 통합했으며, 이는 공유 인코더-디코더 백본을 통해 텍스트-음성, 음성-음성, 그리고 음성-텍스트 작업을 수행할 수 있습니다.
Hugging Face AI vs. AI: 다중 에이전트 강화 학습 대회 시스템
Hugging Face는 ELO 평점 시스템을 활용한 지속적인 다중 에이전트 경쟁을 통해 딥 강화 학습 모델을 순위 매기는 오픈소스 시스템인 AI vs. AI를 소개했습니다.