✷ 아카이브 · 연구소 11곳 · 디스패치 3,432건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
Nyströmformer: Nyström 방법을 이용한 선형 시간 및 메모리에서의 self-attention 근사
Nyströmformer는 샘플링된 랜드마크를 통해 소프트맥스 행렬을 근사하는 Nyström 방법을 사용하여 표준 self-attention의 시간 및 메모리 복잡도를 O(n^2)에서 O(n)으로 감소시킵니다.
미국 국가 AI 연구 자원을 위한 Hugging Face 권고사항
Hugging Face는 백악관 및 국립 과학 재단에 국가 AI 연구 자원(NAIRR)이 윤리적 전문성, 표준화된 문서화, 접근 가능한 도구를 우선시하여 AI 연구를 민주화하도록 촉구하는 답변을 제출했습니다.
OpenAI, Fill‑in‑the‑Middle을 위한 언어 모델 효율적 훈련 발표
OpenAI는 자동 회귀 언어 모델이 좌‑우 생성 품질을 손상시키지 않으면서 Fill‑in‑the‑Middle 작업을 수행하도록 하는 새로운 훈련 방식을 공개했으며, 이는 인필 기능을 간단하고 효율적으로 추가할 수 있는 방법입니다.
Hugging Face Datasets 오디오 및 비전 문서 업데이트
Hugging Face는 🤗 Datasets 라이브러리 문서를 확장하여 오디오 및 비전 데이터셋을 위한 전용 가이드와 도구를 포함시켰으며, 멀티모달 데이터의 로드 및 처리 과정을 간소화했습니다.
TensorFlow와 XLA를 이용한 빠른 텍스트 생성
Hugging Face는 TensorFlow를 사용하는 transformers 라이브러리에서 텍스트 생성을 위한 XLA 컴파일을 지원하도록 하여, 최대 100배의 속도 향상과 종종 PyTorch를 능가하는 성능을 제공했습니다.
코드 합성 대형 언어 모델을 위한 위험 분석 프레임워크
OpenAI는 Codex와 같은 고급 코드 생성 모델의 배포와 관련된 기술적, 사회적, 정치적, 경제적 위험을 식별하고 완화하기 위한 위험 분석 프레임워크를 도입했습니다.
TensorFlow 비전 모델을 Hugging Face에서 TF Serving으로 배포하기
Hugging Face는 Vision Transformer(ViT)와 같은 TensorFlow 비전 모델을 TensorFlow Serving을 사용해 REST 또는 gRPC 엔드포인트로 노출하는 배포 가이드를 제공합니다.
Advantage Actor Critic (A2C) 설명
Hugging Face는 정책 기반 방법과 가치 기반 방법을 결합하여 정책 그라디언트 추정의 분산을 감소시키는 하이브리드 강화 학습 아키텍처인 Advantage Actor Critic (A2C)를 설명합니다.
OpenAI DALL·E 베타 출시
OpenAI는 DALL·E가 100만 명의 초대된 사용자에게 베타로 제공되며, 매월 무료 크레딧과 상업적 사용 권리를 제공한다고 발표했습니다.
DALL·E 2에서 편향 감소 및 안전성 향상
OpenAI는 생성된 인물의 다양성을 높이고, 기만적인 콘텐츠 생성을 방지하기 위해 안전 필터를 강화하는 시스템 수준 기술을 DALL·E 2에 적용했습니다.
MNIST용 Dynamic Adversarial Data Collection (DADC) – Hugging Face 튜토리얼
Hugging Face는 MNIST에서 Dynamic Adversarial Data Collection (DADC)을 위한 단계별 튜토리얼을 발표했으며, 인간이 만든 적대적 예제를 수집하고 모델을 재학습시켜 견고성을 향상시키는 방법을 보여줍니다.
DALL·E 2: 창의성 확장
OpenAI의 DALL·E 2 연구 미리보기가 118개국의 3,000명 이상의 아티스트에 의해 채택되어 의료 지원부터 고급 요리 예술에 이르기까지 다양한 창의적 워크플로에 AI 생성 이미지를 통합하고 있습니다.
BLOOM 176B 훈련 기술 개요
Hugging Face는 384개의 A100 GPU, Megatron‑DeepSpeed 3D 병렬 처리 및 BF16 혼합 정밀도를 사용하여 1760억 파라미터 BLOOM 모델을 훈련한 상세 내역을 공개했으며, 하드웨어, 소프트웨어 스택 및 엔지니어링 과제를 강조합니다.
Sentence Transformers를 활용한 재생목록 생성기 구축
Hugging Face는 가사 임베딩에 Sentence Transformers를, 사용자 인터페이스에 Gradio Blocks를 활용한 의미 검색 기반 재생목록 생성기를 만드는 방법을 보여줍니다.
BLOOM: 세계 최대의 오픈 다국어 언어 모델
Hugging Face와 BigScience 프로젝트가 1760억 파라미터의 오픈 액세스 다국어 언어 모델인 BLOOM을 공개했습니다. 이 모델은 46개의 자연어와 13개의 프로그래밍 언어에 대해 완전한 투명성으로 학습되었습니다.
Anthropic 연구: 언어 모델은 (대부분) 자신이 무엇을 아는지 알고 있다
Anthropic 연구는 대규모 언어 모델이 자신의 주장의 타당성을 효과적으로 평가하고 답변을 알고 있을 가능성을 예측할 수 있음을 보여주며, 더 정직한 AI를 향한 경로를 제공합니다.
트위터 감성 분석 시작하기
Hugging Face는 개발자와 비개발자 모두를 위해 Inference API를 활용해 트위터 데이터에 대한 자동 감성 분석을 수행하는 가이드를 제공합니다.
PyTorch를 이용한 정책 그라디언트 – Hugging Face Deep RL 클래스 Unit 5
Hugging Face는 PyTorch로 REINFORCE Monte‑Carlo 정책‑그라디언트 알고리즘을 처음부터 구현하고 CartPole‑v1, PixelCopter, Pong에서 평가하는 튜토리얼을 공개했습니다.
Sentence Transformers를 사용한 머신러닝 시작하기
Hugging Face는 초보자들이 Sentence Transformers 라이브러리를 사용해 임베딩을 생성하고 의미 검색을 수행하며 첫 번째 ML 프로젝트를 시작할 수 있도록 안내합니다.
DALL·E 2 사전 학습 완화 조치
OpenAI는 데이터 필터링을 위한 능동 학습, 편향 증폭을 방지하기 위한 가중치 재조정 방식, 그리고 DALL·E 2에서 이미지 재생성을 제거하기 위한 클러스터링 기반 중복 제거 과정을 구현했습니다.
허깅페이스 허브에서의 평가
허깅페이스는 AutoTrain 기반 무코드 도구인 Evaluation on the Hub를 도입했습니다. 이를 통해 사용자는 허깅페이스 허브에서 어떤 모델이든, 어떤 데이터셋이든, 어떤 메트릭이든 직접 평가할 수 있습니다.
DeepSpeed를 사용한 대규모 모델 학습 가속
Hugging Face는 Accelerate 라이브러리를 사용해 DeepSpeed의 ZeRO 최적화를 통합하는 방법을 보여주며, 이를 통해 더 큰 배치 크기와 GPU 메모리를 초과할 수 있는 모델 학습을 가능하게 합니다.
OpenAI 비디오 사전학습 (VPT) for Minecraft
OpenAI는 비디오 사전학습(VPT)이라는 반지도 학습 모방 학습 방법을 도입했으며, 이를 통해 인간 플레이의 방대한 라벨이 없는 비디오 데이터셋을 학습함으로써 에이전트가 Minecraft에서 복잡한 행동을 학습할 수 있게 되었습니다.
임베딩 시작하기 – Hugging Face 튜토리얼
Hugging Face는 Sentence‑Transformers 라이브러리와 Hugging Face Hub를 사용해 벡터 임베딩을 생성, 호스팅 및 쿼리하는 단계별 가이드를 발표했으며, 검색 가능한 FAQ 시스템을 시연합니다.
Hugging Face Optimum으로 Transformers를 ONNX로 변환하기
Hugging Face는 Transformers 모델을 ONNX로 변환하는 세 가지 방법을 제공하며, 저수준 torch.onnx API부터 고수준 Optimum 라이브러리까지 다양합니다.
OpenAI 대형 모델을 통한 진화 (ELM) 연구
OpenAI는 대형 모델을 통한 진화(ELM)를 소개합니다. 이 방법은 LLM을 활용해 인간과 유사한 코드 변이를 근사함으로써 유전 프로그래밍을 개선하고 새로운 도메인에서 기능적인 프로그램을 생성합니다.
Anthropic Softmax Linear Units (SoLU) 연구
Anthropic은 모델 성능을 희생하지 않으면서 해석 가능한 뉴런의 비율을 높이는 MLP 활성화 함수의 구조적 변화인 Softmax Linear Units (SoLU)를 도입합니다.
인텔과 Hugging Face 파트너십: 머신러닝 하드웨어 가속
인텔은 Hugging Face 하드웨어 파트너 프로그램에 참여하여 Optimum Intel 라이브러리를 개발하고 있으며, 이를 통해 Intel 플랫폼에서 Transformer 모델의 학습, 미세 조정 및 추론에 대한 하드웨어 가속을 간소화하고 있습니다.
Hugging Face 머신러닝 인사이트 디렉터: 금융 에디션
U.S. Bank, RBC, 그리고 Moody's Analytics의 전문가들은 머신러닝이 사기 탐지와 개인화된 제품을 통해 금융을 어떻게 변화시키고 있는지, 그리고 레거시 시스템 및 규제 요구사항과 같은 과제를 어떻게 극복하고 있는지 논의합니다.
AI가 작성한 비평이 인간이 결함을 발견하도록 돕는다
OpenAI 연구는 AI가 생성한 비평이 인간 평가자가 요약문에서 훨씬 더 많은 결함을 식별하도록 돕는다는 것을 보여주며, 복잡한 AI 작업에 대한 인간 감독을 확장 가능한 방식으로 구현할 수 있음을 시사합니다.
대규모 신경망 훈련을 위한 OpenAI 기술
OpenAI는 대규모 AI 모델 훈련을 위해 GPU 클러스터를 조정하는 데 사용되는 주요 병렬 처리 전략—데이터, 파이프라인, 텐서, 그리고 전문가 병렬 처리—과 메모리 절감 기술을 개요합니다.
스페이스 인베이더와 딥 Q-러닝
Hugging Face는 Atari 게임과 같은 고차원 상태 공간에 대해 Q값을 근사하기 위해 신경망을 사용하는 강화 학습 방법인 딥 Q-러닝(DQN)을 설명합니다.
주석이 달린 확산 모델 – DDPM 구현 상세 안내
Hugging Face는 Denoising Diffusion Probabilistic Models (DDPM)의 주석이 달린 단계별 PyTorch 구현을 공개했으며, 이미지 생성을 위한 확산 모델을 구축, 학습 및 샘플링하는 방법을 보여줍니다.
OpenAI, Cohere, 및 AI21 Labs 언어 모델 배포를 위한 모범 사례
OpenAI, Cohere, 및 AI21 Labs는 대형 언어 모델의 책임 있는 개발 및 배포를 위해 위험을 완화하고 오용을 방지하기 위한 초기 모범 사례를 공동으로 발표했습니다.
OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기
OpenAI 연구원들은 GPT-3가 모델 로짓에 의존하지 않고도 자연어로 답변에 대한 보정된 불확실성을 표현하도록 학습시킬 수 있음을 입증했습니다.
Graphcore와 Hugging Face, IPU 준비된 트랜스포머 모델 확장
Graphcore와 Hugging Face는 Hugging Face Optimum 라이브러리를 확장하여 Graphcore IPU용 NLP, 음성, 컴퓨터 비전 분야의 10개 최적화 트랜스포머 모델을 포함했습니다.
Hugging Face Hub 커뮤니티 업데이트: Pull Requests와 Discussions
Hugging Face는 Hub에 Pull Requests와 Discussions를 도입하여 모델, 데이터셋, Spaces에 대한 커뮤니티 전체 협업을 가능하게 했으며, 저장소 포크가 필요하지 않습니다.
OpenAI Codex 애플리케이션 및 통합
OpenAI Codex는 GPT-3 기반의 자연어-코드 변환 시스템으로, GitHub Copilot을 포함한 70개 이상의 애플리케이션에 적용되어 영어 지시를 코드로 변환함으로써 개발자 생산성을 높입니다.
TAPEX: 신경망 SQL 실행을 통한 효율적인 테이블 사전 학습
TAPEX는 합성된 SQL 실행 쌍을 활용하여 테이블 질문 응답 및 사실 검증에서 최첨단 성능을 달성하고, 이전 방법에 비해 훨씬 높은 효율성을 제공하는 테이블 사전 학습 접근법입니다.
Anthropic 연구: 반복 데이터 학습의 스케일링 법칙 및 해석 가능성
Anthropic 연구원들은 학습 데이터의 아주 적은 일부를 반복하는 것이 모델의 용량을 암기에 사용하게 만들고 유도 헤드(induction heads)와 같은 일반화 구조를 손상시켜 LLM 성능을 심각하게 저하시킬 수 있다는 것을 발견했습니다.
Hugging Face Q-러닝 소개
Hugging Face는 Q-테이블을 사용하여 최적의 상태-행동 쌍을 결정하는 오프-정책 가치 기반 강화 학습 방법인 Q-러닝에 대한 기술 가이드를 제공합니다.
Hugging Face 멀티모달 프로젝트 윤리 헌장
Hugging Face는 멀티모달 학습 프로젝트를 위해 윤리 원칙, 투명성 및 공정성을 머신러닝 연구 라이프사이클에 직접 통합하는 윤리 헌장을 마련했습니다.
Sempre Health 사례 연구: Hugging Face 전문가 가속 프로그램으로 NLP 파이프라인 가속화
Sempre Health는 Hugging Face 전문가 가속 프로그램을 활용하여 들어오는 환자 메시지의 20% 이상을 자동으로 처리하는 NLP 파이프라인을 구축했으며, 이를 통해 비즈니스 확장성을 크게 향상시켰습니다.
OpenAI DALL·E 2 연구 미리보기 업데이트
OpenAI는 300만 장 이상의 이미지를 생성한 제한된 연구 미리보기 이후, 대기자 명단에 있는 사용자에게 주당 1,000명씩 DALL·E 2 접근을 확대하고 있습니다.
Hugging Face Deep RL 코스 유닛 2 파트 1: Q-러닝 개념 소개
Hugging Face가 Deep Reinforcement Learning 코스의 첫 번째 파트를 공개했으며, 여기서는 value‑based 방법, Bellman 방정식, 그리고 Monte‑Carlo와 Temporal‑Difference 학습을 Q‑Learning을 위한 기초 개념으로 설명합니다.
Hugging Face 펠로우십 프로그램 발표
Hugging Face는 리소스, 인정, 맞춤형 지원을 통해 오픈소스 머신러닝 생태계의 핵심 기여자를 지원하고 역량을 강화하기 위해 펠로우십 프로그램을 시작했습니다.
Sasha Luccioni와의 머신러닝 전문가 인터뷰 – 윤리적 AI와 기후 영향에 대한 하이라이트
Hugging Face는 연구 과학자 Sasha Luccioni와 인터뷰를 진행했으며, 그녀는 윤리적 AI, 탄소 발자국 측정, 그리고 머신러닝을 기후 및 사회적 과제에 적용하는 작업에 대해 논의했습니다.
Gradio 3.0 릴리스 노트
Hugging Face는 Gradio 3.0을 출시했으며, 완전한 프런트엔드 재설계와 Python으로 복잡하고 맞춤형 머신러닝 웹 앱을 구축하기 위한 Gradio Blocks 도입을 특징으로 합니다.
Hugging Face 학생 앰배서더 프로그램 2022
Hugging Face는 2023년까지 500만 명에게 머신러닝을 가르치는 목표를 달성하기 위해 첫 번째 학생 앰배서더 프로그램을 시작했습니다.
Hugging Face 머신러닝 인사이트 디렉터: SaaS 에디션
Hugging Face는 Salesforce, Amplitude, ZoomInfo, Repustate의 ML 디렉터 네 명을 인터뷰하여 머신러닝을 SaaS 제품에 통합할 때의 실질적인 과제, 일반적인 함정, 그리고 미래 기회에 대해 논의합니다.