✷ 아카이브 · 연구소 11곳 · 디스패치 3,432건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
Hugging Face 추론 솔루션 개요 2022년 11월
Hugging Face는 위젯, API, Inference Endpoints, Spaces 등 무료 및 유료 추론 옵션을 발표해 모델 테스트, 배포 및 프로덕션 확장을 간소화했습니다.
Hugging Face 문서 AI 가속화
Hugging Face는 오픈소스 멀티모달 모델을 활용하여 기업 워크플로우에서 문서 분류, 파싱 및 시각적 질문 응답을 자동화하는 포괄적인 가이드를 제공합니다.
동형 암호화를 이용한 암호화된 데이터에 대한 감성 분석
Hugging Face는 Concrete-ML 라이브러리를 사용하여 BERT 트랜스포머와 XGBoost를 결합한 완전 동형 암호화(FHE) 방식으로 암호화된 데이터에 대한 감성 분석을 수행하는 방법을 보여줍니다.
머신러닝 데모를 위한 Hugging Face와 arXiv 통합
Hugging Face는 Hugging Face Spaces와 arXivLabs를 통합하여 arXiv 논문 초록 페이지에서 직접 인터랙티브 머신러닝 데모를 제공합니다.
OFA: 하나의 모델을 위한 구축을 향해
OFA는 지시 기반 멀티태스크 사전학습을 활용하여 모달리티 전반에 걸친 이해와 생성 작업을 하나의 프레임워크로 통합하는 통합 멀티모달 사전학습 모델이다.
Hugging Face 가격 업데이트 2022년 11월
Hugging Face는 컴퓨트 기반 수익 모델로 전환했으며, Inference API의 유료 티어를 종료하고 Inference Endpoints와 Spaces의 하드웨어 업그레이드로 대체했습니다.
Transformers에서 인간 수준 텍스트 생성을 위한 대조 검색
Hugging Face는 transformers 라이브러리에 대조 검색을 통합했으며, 이 디코딩 방법은 모델 퇴화를 방지하고 오프‑더‑쉘프 모델을 사용해 16개 언어 전반에 걸쳐 의미적 일관성을 유지합니다.
Dreambooth Stable Diffusion 파인‑튜닝 가이드 with Diffusers
Hugging Face는 Diffusers 라이브러리를 사용한 Dreambooth로 Stable Diffusion을 학습하기 위한 상세 권장 사항을 발표했으며, 낮은 학습률, 충분한 단계, 얼굴에 대한 prior preservation, 텍스트‑인코더 파인‑튜닝이 가장 높은 품질의 결과를 제공한다는 것을 보여줍니다.
대규모 언어 모델의 확장 가능한 감독(Scalable Oversight)에 대한 진척도 측정
Anthropic 연구원들은 인간이 결국 복잡한 작업에서 자신을 능가할 수 있는 AI 시스템을 감독할 수 있도록 보장하기 위해, 확장 가능한 감독을 경험적으로 연구하기 위한 프레임워크를 제안합니다.
OpenAI DALL·E API 공개 베타 발표
OpenAI는 DALL·E 이미지 생성 API가 이제 공개 베타로 제공된다고 발표했으며, 이를 통해 개발자는 최첨단 이미지 생성 및 내장된 검열 기능을 앱에 통합할 수 있게 되었습니다.
Hugging Face Transformers와 함께 다국어 ASR를 위한 Whisper 파인튜닝
Hugging Face는 OpenAI의 Whisper 모델을 다국어 자동 음성 인식(ASR)용으로 파인튜닝하는 포괄적인 가이드를 제공하며, 8시간의 데이터만으로 힌디어에서 WER을 31.5% 절대적으로 개선한 사례를 보여줍니다.
Hugging Face Optimum Intel 및 OpenVINO 통합
Hugging Face는 Intel OpenVINO를 Optimum Intel에 통합하여 Intel 하드웨어에서 Transformer 모델에 대한 가속 추론 및 양자화를 가능하게 했습니다.
🤗 Evaluate 로 언어 모델 편향 평가
Hugging Face는 🤗 Evaluate 라이브러리에 편향 메트릭—toxicity, language polarity, HONEST—을 추가하여 인과 언어 모델에서 해로운 언어를 체계적으로 측정할 수 있게 했습니다.
PyTorch DDP, Accelerate 및 Transformers Trainer를 활용한 분산 학습
Hugging Face는 네이티브 PyTorch DDP, Accelerate 라이브러리, 그리고 고수준 Transformers Trainer API라는 세 가지 추상화 레벨을 사용하여 분산 학습을 구현하는 방법을 설명합니다.
OpenAI 보상 모델 과최적화에 대한 스케일링 법칙
OpenAI는 불완전한 프록시 보상 모델에 대해 최적화하면 결국 실제 성능이 저하되며, 이는 모델 파라미터와 데이터셋 크기에 기반한 예측 가능한 스케일링 법칙을 따른다고 밝혔습니다.
MTEB: 대규모 텍스트 임베딩 벤치마크
Hugging Face는 텍스트 임베딩 모델의 성능을 평가하기 위해 8개의 작업에 걸쳐 56개의 데이터셋으로 구성된 대규모 다국어 벤치마크인 MTEB를 도입했습니다.
Hugging Face 추론 엔드포인트
Hugging Face Inference Endpoints는 사용자가 Hugging Face Hub에서 머신러닝 모델을 몇 번의 클릭만으로 확장 가능하고 안전한 클라우드 인프라에 배포할 수 있게 해주는 관리형 서비스입니다.
Stable Diffusion JAX 및 Flax 통합
Hugging Face Diffusers 버전 0.5.1은 Flax 지원을 도입하여 JAX를 통해 Google TPU에서 고속 Stable Diffusion 추론을 가능하게 합니다.
Hugging Face BLOOM 추론 최적화
Hugging Face는 파이프라인 병렬 처리에서 텐서 병렬 처리로 전환하고 맞춤형 CUDA 커널을 구현함으로써 BLOOM 모델의 지연 시간을 5배 감소시키고 처리량을 50배 증가시켰습니다.
Hugging Face, 모델 및 데이터셋에 대한 DOI 지원 도입
Hugging Face는 이제 사용자가 Hub 모델 및 데이터셋에 대한 디지털 객체 식별자(DOI)를 생성할 수 있게 하여, 버전이 바뀌어도 지속되는 영구적인 인용 링크를 제공합니다.
rinna의 일본어 Stable Diffusion 출시
rinna는 일본어 프롬프트에서 문화적으로 적절한 이미지를 생성하는 Stable Diffusion의 일본어 파인‑튜닝 버전을 출시했습니다.
Hugging Face Hub에서 제로샷 평가
Hugging Face는 Hub에서 인과 언어 모델을 위한 제로샷 평가를 도입하여, 사용자가 코드를 작성하지 않고도 최대 660억 파라미터 모델을 벤치마크할 수 있게 했습니다.
OpenAI DALL·E 베타, 대기자 명단 없이 이용 가능
OpenAI는 DALL·E 베타의 대기자 명단을 제거하여 현재 150만 명이 넘는 사용자가 하루에 200만 장 이상의 이미지를 생성하고 있는 시스템에 즉시 가입할 수 있게 했습니다.
Hugging Face AutoTrain 이미지 분류
Hugging Face가 AutoTrain에 이미지 분류 기능을 추가하여 사용자가 코드를 작성하거나 하이퍼파라미터를 설정하지 않고도 맞춤형 이미지 분류 모델을 학습할 수 있게 했습니다.
Hugging Face Accelerate: PyTorch로 대형 모델 실행
Hugging Face Accelerate는 PyTorch의 메타 디바이스와 샤드 체크포인트를 활용하여 GPU, CPU RAM, 디스크에 걸쳐 메모리를 관리함으로써 소비자 하드웨어에서도 대규모 AI 모델을 실행할 수 있게 합니다.
SetFit: 프롬프트 없이 효율적인 Few-Shot 학습
Hugging Face는 최소한의 라벨링 데이터로 높은 정확도를 달성하는 프롬프트 없는 Sentence Transformers의 Few-Shot 파인튜닝 프레임워크인 SetFit를 소개합니다.
Hugging Face 윤리와 사회 뉴스레터 #1
Hugging Face는 윤리와 사회 뉴스레터를 소개하고 협업, 투명성, 책임을 통한 분산형 가치 기반 AI 윤리 구현 접근 방식을 제시합니다.
OpenAI Whisper 릴리스
OpenAI는 Whisper를 출시했습니다. Whisper는 다국어 및 다중 작업 감독 데이터 68만 시간으로 학습된 자동 음성 인식(ASR) 시스템으로, 억양, 잡음 및 언어 전반에 걸친 견고성을 향상시킵니다.
DeepSpeed와 Accelerate를 활용한 놀라운 속도의 BLOOM 추론
Hugging Face는 8×80 GB A100 GPU에서 DeepSpeed‑Inference 텐서 병렬화와 Accelerate 파이프라인 병렬화를 사용하여 176B 파라미터 BLOOM 모델이 토큰당 1밀리초 미만의 속도로 생성될 수 있음을 보여줍니다.
Anthropic의 중첩(Superposition) 토이 모델 연구
Anthropic 연구원들은 작은 ReLU 네트워크를 사용하여 특징이 희소하다면 모델이 중첩(superposition)이라는 현상을 통해 차원보다 더 많은 특징을 표현할 수 있음을 보여줍니다.
Diffusers 0.3 릴리스, 이미지‑투‑이미지, 텍스트 인버전, 인페인팅, GPU 최적화, Mac MPS, ONNX 지원 및 새로운 문서 추가
Hugging Face가 Diffusers 버전 0.3을 발표했습니다. 이번 업데이트에는 이미지‑투‑이미지, 텍스트 인버전, 실험적 인페인팅, 소형 GPU 최적화, Mac MPS 지원, ONNX 내보내기 기능, 확장된 문서 및 다양한 커뮤니티 프로젝트가 포함됩니다.
오프라인 강화학습을 위한 Decision Transformers 훈련
Hugging Face는 transformers Trainer와 커스텀 data collator를 사용하여 HalfCheetah 환경을 해결하기 위해 처음부터 오프라인 Decision Transformer를 훈련하는 가이드와 구현을 제공합니다.
Megatron-LM으로 언어 모델 훈련하기
Hugging Face는 NVIDIA의 Megatron-LM 프레임워크를 사용하여 GPU에서 대형 언어 모델을 효율적으로 사전 훈련하고, Transformers 라이브러와의 통합 방법을 제공하는 가이드를 제공합니다.
DALL·E 아웃페인팅 기능 출시
OpenAI는 DALL·E용 아웃페인팅을 도입했으며, 사용자가 자연어 설명을 활용해 이미지의 원래 경계를 넘어 확장하면서 시각적 일관성을 유지할 수 있게 했습니다.
OpenRAIL: 개방적이고 책임 있는 AI 라이선스 프레임워크를 향하여
Hugging Face는 머신러닝 모델의 책임 있는 배포를 촉진하기 위해 개방 접근과 사용 기반 제한을 결합한 AI 전용 라이선스 세트인 OpenRAIL을 발표했습니다.
OpenAI, 인간 피드백을 통한 강화학습 및 InstructGPT를 활용한 정렬 전략 발표
OpenAI는 인간 피드백을 통한 강화학습과 InstructGPT를 효과적이고 저비용인 방법으로 강조하며, 언어 모델이 인간 의도를 따르도록 만들면서 현재의 한계와 AI 기반 정렬 연구의 향후 목표를 상세히 설명했습니다.
Hugging Face Spaces에서 단백질 시각화
Hugging Face는 Gradio를 통해 3Dmol.js를 Hugging Face Spaces에 통합하여 브라우저에서 3D 단백질 구조 시각화를 가능하게 하는 가이드를 제공합니다.
Hugging Face Transformers와 Habana Gaudi를 사용한 BERT 사전 학습
Hugging Face는 AWS의 Habana Gaudi DL1 인스턴스를 사용하여 BERT-base를 처음부터 사전 학습하는 방법을 보여주며, NVIDIA V100 GPU 기반 학습에 비해 25% 비용 절감을 달성했습니다.
Diffusers를 이용한 Stable Diffusion
Hugging Face는 Diffusers 라이브러리를 사용해 텍스트‑이미지 Stable Diffusion 모델을 실행하는 방법을 발표했으며, 코드, 라이선스 세부 정보 및 모델의 잠재 확산 아키텍처에 대한 설명을 제공합니다.
Anthropic 언어 모델 레드팀 보고서 – 방법론, 스케일링 동작 및 교훈
Anthropic은 RLHF 모델이 규모가 커질수록 레드팀 공격이 더 어려워진다는 상세한 연구를 발표했으며, 다른 모델 유형은 레드팀 가능성이 일정하게 유지되는 반면, 그들은 커뮤니티의 안전성 향상을 돕기 위해 38,961개의 공격 데이터셋을 공개했습니다.
Vertex AI에 Hugging Face ViT 배포
Hugging Face는 Google Cloud의 Vertex AI 플랫폼에 Vision Transformer(ViT) 모델을 배포하여 Kubernetes 수준의 확장성을 훨씬 적은 코드로 달성하는 방법을 보여줍니다.
Hugging Face Optimum Graphcore에서 Vision Transformers
Hugging Face와 Graphcore는 Optimum 라이브러리를 사용하여 Vision Transformer(ViT) 모델을 Intelligence Processing Units(IPU)에서 효율적으로 미세 조정할 수 있게 하며, 이를 다중 라벨 흉부 X‑레이 분류 작업을 통해 입증했습니다.
Hugging Face, LLM.int8() 8비트 행렬 곱셈을 Transformers와 Accelerate에 통합
Hugging Face는 LLM.int8() 8비트 양자화 기술을 Transformers와 Accelerate 라이브러리에 통합했으며, 이를 통해 매우 큰 언어 모델을 성능 저하 없이 추론할 수 있게 하고 메모리를 최대 2배 절감합니다.
Hugging Face의 TensorFlow 철학
Hugging Face는 TensorFlow 통합에 대한 기술적 접근 방식을 제시하며, Keras 및 XLA와의 깊은 정렬을 강조하여 트랜스포머 모델의 성능 및 배포를 최적화합니다.
Skops 라이브러리는 scikit-learn 모델 호스팅, 문서화 및 Hugging Face Hub에서 협업을 가능하게 합니다
Hugging Face는 Skops를 발표했습니다. 이 라이브러리를 사용하면 사용자가 scikit-learn 모델을 패키징하고 문서화하며 자동 모델 카드와 추론 위젯이 포함된 Hub에 푸시할 수 있습니다.
Hugging Face ViT를 Kubernetes에 TF Serving으로 배포하기
Hugging Face는 Docker와 Kubernetes, TensorFlow Serving을 활용해 Vision Transformer (ViT) 배포를 확장하는 기술 가이드를 제공하여 프로덕션 수준의 자동 스케일링 및 리소스 관리를 가능하게 합니다.
OpenAI Moderation 엔드포인트 출시
OpenAI는 개발자가 애플리케이션에서 금지된 콘텐츠를 감지하고 차단할 수 있도록 GPT 기반 분류기를 제공하는 무료 Moderation 엔드포인트를 출시했습니다.
Hugging Face Sentence Transformers Training Guide (역사적 참고)
Hugging Face는 Sentence Transformers 모델을 학습 및 파인튜닝하기 위한 오래된 튜토리얼을 발표했으며, 모델 아키텍처, 데이터셋 형식, 손실 함수 및 모델 업로드 방법을 설명하고, 최신 학습 API를 사용하도록 안내합니다.
Hugging Face Deep RL 클래스 유닛 8: 근접 정책 최적화 (PPO) 설명
Hugging Face는 근접 정책 최적화(PPO)의 상세 워크스루를 소개했습니다. 정책 업데이트 비율을 클리핑함으로써 학습을 안정화하는 방법을 보여주고, CartPole‑v1과 LunarLander‑v2에서 테스트한 처음부터 구현한 PyTorch 코드를 제공합니다.
Hugging Face Private Hub 소개
Hugging Face는 Private Hub(현재 Enterprise Hub)를 도입하여, 기업이 통합된 도구 세트를 활용해 머신러닝 모델, 데이터셋 및 Spaces를 안전하고 규정 준수 환경에서 협업할 수 있도록 했습니다.