Diffusers를 이용한 Stable Diffusion
Hugging Face는 Diffusers 라이브러리를 사용해 텍스트‑이미지 Stable Diffusion 모델을 실행하는 방법을 발표했으며, 코드, 라이선스 세부 정보 및 모델의 잠재 확산 아키텍처에 대한 설명을 제공합니다.
Vertex AI에 Hugging Face ViT 배포
Hugging Face는 Google Cloud의 Vertex AI 플랫폼에 Vision Transformer(ViT) 모델을 배포하여 Kubernetes 수준의 확장성을 훨씬 적은 코드로 달성하는 방법을 보여줍니다.
Hugging Face Optimum Graphcore에서 Vision Transformers
Hugging Face와 Graphcore는 Optimum 라이브러리를 사용하여 Vision Transformer(ViT) 모델을 Intelligence Processing Units(IPU)에서 효율적으로 미세 조정할 수 있게 하며, 이를 다중 라벨 흉부 X‑레이 분류 작업을 통해 입증했습니다.
Hugging Face, LLM.int8() 8비트 행렬 곱셈을 Transformers와 Accelerate에 통합
Hugging Face는 LLM.int8() 8비트 양자화 기술을 Transformers와 Accelerate 라이브러리에 통합했으며, 이를 통해 매우 큰 언어 모델을 성능 저하 없이 추론할 수 있게 하고 메모리를 최대 2배 절감합니다.
Hugging Face의 TensorFlow 철학
Hugging Face는 TensorFlow 통합에 대한 기술적 접근 방식을 제시하며, Keras 및 XLA와의 깊은 정렬을 강조하여 트랜스포머 모델의 성능 및 배포를 최적화합니다.
Skops 라이브러리는 scikit-learn 모델 호스팅, 문서화 및 Hugging Face Hub에서 협업을 가능하게 합니다
Hugging Face는 Skops를 발표했습니다. 이 라이브러리를 사용하면 사용자가 scikit-learn 모델을 패키징하고 문서화하며 자동 모델 카드와 추론 위젯이 포함된 Hub에 푸시할 수 있습니다.
Hugging Face ViT를 Kubernetes에 TF Serving으로 배포하기
Hugging Face는 Docker와 Kubernetes, TensorFlow Serving을 활용해 Vision Transformer (ViT) 배포를 확장하는 기술 가이드를 제공하여 프로덕션 수준의 자동 스케일링 및 리소스 관리를 가능하게 합니다.
OpenAI Moderation 엔드포인트 출시
OpenAI는 개발자가 애플리케이션에서 금지된 콘텐츠를 감지하고 차단할 수 있도록 GPT 기반 분류기를 제공하는 무료 Moderation 엔드포인트를 출시했습니다.
Hugging Face Sentence Transformers Training Guide (역사적 참고)
Hugging Face는 Sentence Transformers 모델을 학습 및 파인튜닝하기 위한 오래된 튜토리얼을 발표했으며, 모델 아키텍처, 데이터셋 형식, 손실 함수 및 모델 업로드 방법을 설명하고, 최신 학습 API를 사용하도록 안내합니다.
Hugging Face Deep RL 클래스 유닛 8: 근접 정책 최적화 (PPO) 설명
Hugging Face는 근접 정책 최적화(PPO)의 상세 워크스루를 소개했습니다. 정책 업데이트 비율을 클리핑함으로써 학습을 안정화하는 방법을 보여주고, CartPole‑v1과 LunarLander‑v2에서 테스트한 처음부터 구현한 PyTorch 코드를 제공합니다.
Hugging Face Private Hub 소개
Hugging Face는 Private Hub(현재 Enterprise Hub)를 도입하여, 기업이 통합된 도구 세트를 활용해 머신러닝 모델, 데이터셋 및 Spaces를 안전하고 규정 준수 환경에서 협업할 수 있도록 했습니다.
Nyströmformer: Nyström 방법을 이용한 선형 시간 및 메모리에서의 self-attention 근사
Nyströmformer는 샘플링된 랜드마크를 통해 소프트맥스 행렬을 근사하는 Nyström 방법을 사용하여 표준 self-attention의 시간 및 메모리 복잡도를 O(n^2)에서 O(n)으로 감소시킵니다.
미국 국가 AI 연구 자원을 위한 Hugging Face 권고사항
Hugging Face는 백악관 및 국립 과학 재단에 국가 AI 연구 자원(NAIRR)이 윤리적 전문성, 표준화된 문서화, 접근 가능한 도구를 우선시하여 AI 연구를 민주화하도록 촉구하는 답변을 제출했습니다.
OpenAI, Fill‑in‑the‑Middle을 위한 언어 모델 효율적 훈련 발표
OpenAI는 자동 회귀 언어 모델이 좌‑우 생성 품질을 손상시키지 않으면서 Fill‑in‑the‑Middle 작업을 수행하도록 하는 새로운 훈련 방식을 공개했으며, 이는 인필 기능을 간단하고 효율적으로 추가할 수 있는 방법입니다.
Hugging Face Datasets 오디오 및 비전 문서 업데이트
Hugging Face는 🤗 Datasets 라이브러리 문서를 확장하여 오디오 및 비전 데이터셋을 위한 전용 가이드와 도구를 포함시켰으며, 멀티모달 데이터의 로드 및 처리 과정을 간소화했습니다.
TensorFlow와 XLA를 이용한 빠른 텍스트 생성
Hugging Face는 TensorFlow를 사용하는 transformers 라이브러리에서 텍스트 생성을 위한 XLA 컴파일을 지원하도록 하여, 최대 100배의 속도 향상과 종종 PyTorch를 능가하는 성능을 제공했습니다.
코드 합성 대형 언어 모델을 위한 위험 분석 프레임워크
OpenAI는 Codex와 같은 고급 코드 생성 모델의 배포와 관련된 기술적, 사회적, 정치적, 경제적 위험을 식별하고 완화하기 위한 위험 분석 프레임워크를 도입했습니다.
TensorFlow 비전 모델을 Hugging Face에서 TF Serving으로 배포하기
Hugging Face는 Vision Transformer(ViT)와 같은 TensorFlow 비전 모델을 TensorFlow Serving을 사용해 REST 또는 gRPC 엔드포인트로 노출하는 배포 가이드를 제공합니다.
Advantage Actor Critic (A2C) 설명
Hugging Face는 정책 기반 방법과 가치 기반 방법을 결합하여 정책 그라디언트 추정의 분산을 감소시키는 하이브리드 강화 학습 아키텍처인 Advantage Actor Critic (A2C)를 설명합니다.
OpenAI DALL·E 베타 출시
OpenAI는 DALL·E가 100만 명의 초대된 사용자에게 베타로 제공되며, 매월 무료 크레딧과 상업적 사용 권리를 제공한다고 발표했습니다.
DALL·E 2에서 편향 감소 및 안전성 향상
OpenAI는 생성된 인물의 다양성을 높이고, 기만적인 콘텐츠 생성을 방지하기 위해 안전 필터를 강화하는 시스템 수준 기술을 DALL·E 2에 적용했습니다.
MNIST용 Dynamic Adversarial Data Collection (DADC) – Hugging Face 튜토리얼
Hugging Face는 MNIST에서 Dynamic Adversarial Data Collection (DADC)을 위한 단계별 튜토리얼을 발표했으며, 인간이 만든 적대적 예제를 수집하고 모델을 재학습시켜 견고성을 향상시키는 방법을 보여줍니다.
DALL·E 2: 창의성 확장
OpenAI의 DALL·E 2 연구 미리보기가 118개국의 3,000명 이상의 아티스트에 의해 채택되어 의료 지원부터 고급 요리 예술에 이르기까지 다양한 창의적 워크플로에 AI 생성 이미지를 통합하고 있습니다.
BLOOM 176B 훈련 기술 개요
Hugging Face는 384개의 A100 GPU, Megatron‑DeepSpeed 3D 병렬 처리 및 BF16 혼합 정밀도를 사용하여 1760억 파라미터 BLOOM 모델을 훈련한 상세 내역을 공개했으며, 하드웨어, 소프트웨어 스택 및 엔지니어링 과제를 강조합니다.
Sentence Transformers를 활용한 재생목록 생성기 구축
Hugging Face는 가사 임베딩에 Sentence Transformers를, 사용자 인터페이스에 Gradio Blocks를 활용한 의미 검색 기반 재생목록 생성기를 만드는 방법을 보여줍니다.
BLOOM: 세계 최대의 오픈 다국어 언어 모델
Hugging Face와 BigScience 프로젝트가 1760억 파라미터의 오픈 액세스 다국어 언어 모델인 BLOOM을 공개했습니다. 이 모델은 46개의 자연어와 13개의 프로그래밍 언어에 대해 완전한 투명성으로 학습되었습니다.
트위터 감성 분석 시작하기
Hugging Face는 개발자와 비개발자 모두를 위해 Inference API를 활용해 트위터 데이터에 대한 자동 감성 분석을 수행하는 가이드를 제공합니다.
PyTorch를 이용한 정책 그라디언트 – Hugging Face Deep RL 클래스 Unit 5
Hugging Face는 PyTorch로 REINFORCE Monte‑Carlo 정책‑그라디언트 알고리즘을 처음부터 구현하고 CartPole‑v1, PixelCopter, Pong에서 평가하는 튜토리얼을 공개했습니다.
Sentence Transformers를 사용한 머신러닝 시작하기
Hugging Face는 초보자들이 Sentence Transformers 라이브러리를 사용해 임베딩을 생성하고 의미 검색을 수행하며 첫 번째 ML 프로젝트를 시작할 수 있도록 안내합니다.
DALL·E 2 사전 학습 완화 조치
OpenAI는 데이터 필터링을 위한 능동 학습, 편향 증폭을 방지하기 위한 가중치 재조정 방식, 그리고 DALL·E 2에서 이미지 재생성을 제거하기 위한 클러스터링 기반 중복 제거 과정을 구현했습니다.
허깅페이스 허브에서의 평가
허깅페이스는 AutoTrain 기반 무코드 도구인 Evaluation on the Hub를 도입했습니다. 이를 통해 사용자는 허깅페이스 허브에서 어떤 모델이든, 어떤 데이터셋이든, 어떤 메트릭이든 직접 평가할 수 있습니다.
DeepSpeed를 사용한 대규모 모델 학습 가속
Hugging Face는 Accelerate 라이브러리를 사용해 DeepSpeed의 ZeRO 최적화를 통합하는 방법을 보여주며, 이를 통해 더 큰 배치 크기와 GPU 메모리를 초과할 수 있는 모델 학습을 가능하게 합니다.
OpenAI 비디오 사전학습 (VPT) for Minecraft
OpenAI는 비디오 사전학습(VPT)이라는 반지도 학습 모방 학습 방법을 도입했으며, 이를 통해 인간 플레이의 방대한 라벨이 없는 비디오 데이터셋을 학습함으로써 에이전트가 Minecraft에서 복잡한 행동을 학습할 수 있게 되었습니다.
임베딩 시작하기 – Hugging Face 튜토리얼
Hugging Face는 Sentence‑Transformers 라이브러리와 Hugging Face Hub를 사용해 벡터 임베딩을 생성, 호스팅 및 쿼리하는 단계별 가이드를 발표했으며, 검색 가능한 FAQ 시스템을 시연합니다.
Hugging Face Optimum으로 Transformers를 ONNX로 변환하기
Hugging Face는 Transformers 모델을 ONNX로 변환하는 세 가지 방법을 제공하며, 저수준 torch.onnx API부터 고수준 Optimum 라이브러리까지 다양합니다.
OpenAI 대형 모델을 통한 진화 (ELM) 연구
OpenAI는 대형 모델을 통한 진화(ELM)를 소개합니다. 이 방법은 LLM을 활용해 인간과 유사한 코드 변이를 근사함으로써 유전 프로그래밍을 개선하고 새로운 도메인에서 기능적인 프로그램을 생성합니다.
인텔과 Hugging Face 파트너십: 머신러닝 하드웨어 가속
인텔은 Hugging Face 하드웨어 파트너 프로그램에 참여하여 Optimum Intel 라이브러리를 개발하고 있으며, 이를 통해 Intel 플랫폼에서 Transformer 모델의 학습, 미세 조정 및 추론에 대한 하드웨어 가속을 간소화하고 있습니다.
Hugging Face 머신러닝 인사이트 디렉터: 금융 에디션
U.S. Bank, RBC, 그리고 Moody's Analytics의 전문가들은 머신러닝이 사기 탐지와 개인화된 제품을 통해 금융을 어떻게 변화시키고 있는지, 그리고 레거시 시스템 및 규제 요구사항과 같은 과제를 어떻게 극복하고 있는지 논의합니다.
AI가 작성한 비평이 인간이 결함을 발견하도록 돕는다
OpenAI 연구는 AI가 생성한 비평이 인간 평가자가 요약문에서 훨씬 더 많은 결함을 식별하도록 돕는다는 것을 보여주며, 복잡한 AI 작업에 대한 인간 감독을 확장 가능한 방식으로 구현할 수 있음을 시사합니다.
대규모 신경망 훈련을 위한 OpenAI 기술
OpenAI는 대규모 AI 모델 훈련을 위해 GPU 클러스터를 조정하는 데 사용되는 주요 병렬 처리 전략—데이터, 파이프라인, 텐서, 그리고 전문가 병렬 처리—과 메모리 절감 기술을 개요합니다.
스페이스 인베이더와 딥 Q-러닝
Hugging Face는 Atari 게임과 같은 고차원 상태 공간에 대해 Q값을 근사하기 위해 신경망을 사용하는 강화 학습 방법인 딥 Q-러닝(DQN)을 설명합니다.
주석이 달린 확산 모델 – DDPM 구현 상세 안내
Hugging Face는 Denoising Diffusion Probabilistic Models (DDPM)의 주석이 달린 단계별 PyTorch 구현을 공개했으며, 이미지 생성을 위한 확산 모델을 구축, 학습 및 샘플링하는 방법을 보여줍니다.
OpenAI, Cohere, 및 AI21 Labs 언어 모델 배포를 위한 모범 사례
OpenAI, Cohere, 및 AI21 Labs는 대형 언어 모델의 책임 있는 개발 및 배포를 위해 위험을 완화하고 오용을 방지하기 위한 초기 모범 사례를 공동으로 발표했습니다.
OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기
OpenAI 연구원들은 GPT-3가 모델 로짓에 의존하지 않고도 자연어로 답변에 대한 보정된 불확실성을 표현하도록 학습시킬 수 있음을 입증했습니다.
Graphcore와 Hugging Face, IPU 준비된 트랜스포머 모델 확장
Graphcore와 Hugging Face는 Hugging Face Optimum 라이브러리를 확장하여 Graphcore IPU용 NLP, 음성, 컴퓨터 비전 분야의 10개 최적화 트랜스포머 모델을 포함했습니다.
Hugging Face Hub 커뮤니티 업데이트: Pull Requests와 Discussions
Hugging Face는 Hub에 Pull Requests와 Discussions를 도입하여 모델, 데이터셋, Spaces에 대한 커뮤니티 전체 협업을 가능하게 했으며, 저장소 포크가 필요하지 않습니다.
OpenAI Codex 애플리케이션 및 통합
OpenAI Codex는 GPT-3 기반의 자연어-코드 변환 시스템으로, GitHub Copilot을 포함한 70개 이상의 애플리케이션에 적용되어 영어 지시를 코드로 변환함으로써 개발자 생산성을 높입니다.
TAPEX: 신경망 SQL 실행을 통한 효율적인 테이블 사전 학습
TAPEX는 합성된 SQL 실행 쌍을 활용하여 테이블 질문 응답 및 사실 검증에서 최첨단 성능을 달성하고, 이전 방법에 비해 훨씬 높은 효율성을 제공하는 테이블 사전 학습 접근법입니다.
Hugging Face Q-러닝 소개
Hugging Face는 Q-테이블을 사용하여 최적의 상태-행동 쌍을 결정하는 오프-정책 가치 기반 강화 학습 방법인 Q-러닝에 대한 기술 가이드를 제공합니다.
Hugging Face 멀티모달 프로젝트 윤리 헌장
Hugging Face는 멀티모달 학습 프로젝트를 위해 윤리 원칙, 투명성 및 공정성을 머신러닝 연구 라이프사이클에 직접 통합하는 윤리 헌장을 마련했습니다.