✷ 아카이브 · 연구소 11곳 · 디스패치 3,061건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
허깅 페이스 AI 연구 레지던시 프로그램 발표
허깅 페이스는 aspiring researchers가 머신러닝 기술을 개발하고 허깅 페이스 사이언스 팀과 함께 오픈소스 작업을 출판할 수 있도록 설계된 9개월 AI 연구 레지던시 프로그램을 출시했습니다.
커스텀 데이터셋을 활용한 시맨틱 세그멘테이션을 위한 SegFormer 파인튜닝
Hugging Face는 자율 주행 인도 탐색과 같은 커스텀 사용 사례를 위해 Transformers 라이브러리를 사용하여 SegFormer 모델을 파인튜닝하여 픽셀 수준의 이미지 분류를 수행하는 기술 가이드를 제공합니다.
Hugging Face 데이터셋을 사용한 이미지 검색
Hugging Face는 datasets 라이브러리, CLIP 임베딩, FAISS를 결합하여 효율적인 유사도 검색을 위한 이미지 검색 애플리케이션을 구축하는 방법을 보여줍니다.
Hugging Face Transformers와 AWS Inferentia를 사용하여 BERT 추론 가속화하기
Hugging Face는 AWS Inferentia와 Neuron SDK를 사용하여 BERT 추론을 가속화하고 Amazon SageMaker에서 5-6ms의 지연 시간을 달성하는 방법에 대한 가이드를 제공합니다.
GPT-3 및 Codex 편집 및 삽입 기능
OpenAI는 단순한 텍스트 완성을 넘어 기존 텍스트를 편집하고 문서 중간에 콘텐츠를 삽입할 수 있는 GPT-3 및 Codex의 새로운 버전을 출시했습니다.
Hugging Face Transformers의 Constrained Beam Search를 이용한 텍스트 생성 가이드
Hugging Face는 언어적 일관성을 유지하면서 생성된 텍스트에 특정 단어나 구절을 강제할 수 있도록 Transformers 라이브러리에 constrained beam search를 도입했습니다.
Anthropic In-context Learning and Induction Heads
Anthropic은 2022년 3월 8일에 “In-context Learning and Induction Heads”라는 제목의 연구 포스트를 발표했지만, 해당 페이지에는 관련 링크만 포함되어 있으며 실질적인 기술적 세부 사항은 포함되어 있지 않습니다.
OpenAI 경제 영향 연구 이니셔티브
OpenAI는 GPT-3, ChatGPT, DALL-E 2와 같은 대형 언어 모델의 경제적 영향을 연구하기 위해 연구자 및 기업으로부터 관심 표현을 요청하는 콜을 발표했습니다.
OpenAI 코드 생성 모델의 경제적 영향에 관한 연구 과제
OpenAI는 Codex와 같은 코드 생성 모델이 생산성, 고용, 경제적 불평등에 미치는 영향을 연구하여 배포, 시스템 설계, 공공 정책에 정보를 제공하기 위한 연구 과제를 제안했습니다.
OpenAI 언어 모델 안전 및 오용에 대한 교훈
OpenAI는 GPT-3와 Codex 배포 경험을 공유하며, 실제 오용이 이론적 위험과 다르게 나타나고 안전 연구가 상업적 유용성을 자주 향상시킨다는 점을 강조합니다.
BERT 101: Understanding the Bidirectional Encoder Representations from Transformers
BERT는 Google AI Language에서 개발된 양방향 트랜스포머 기반 모델로, 대규모 데이터셋에서의 비지도 사전 훈련을 활용하여 11개 이상의 일반적인 NLP 작업에서 최첨단 성능을 달성합니다.
Anthropic 연구: 대규모 생성 모델의 예측 가능성과 놀라움
Anthropic은 대규모 생성 모델의 예측 가능한 손실 스케일링과 예측 불가능한 특정 능력 및 출력의 창발 사이의 긴장 관계를 식별하며, 이는 AI 안전 및 정책에 과제를 제기합니다.
비전 트랜스포머(ViT)를 허깅 페이스 트랜스포머로 이미지 분류에 미세 조정하기
허깅 페이스는 데이터셋과 트랜스포머 라이브러리를 사용하여 비전 트랜스포머(ViT) 모델을 이미지 분류에 미세 조정하는 가이드를 제공하며, beans 데이터셋을 통해 과정을 시연합니다.
OpenAI Formal Math Olympiad Problem Solving
OpenAI는 형식적 증명 보조 도구(formal proof assistants)를를 사용하여 AMC12, AIME, IMO와 같은 경시대회에서 출제된 형식적 수학 올림피아드 문제를 해결하는 모델의 능력을 입증했습니다.
Python을 이용한 감성 분석 시작하기
Hugging Face는 Hugging Face Hub의 사전 학습된 모델, 미세 조정을 위한 Trainer API, 그리고 노코드 도구인 AutoNLP를 활용하여 Python을 이용한 감성 분석 구현에 대한 종합적인 가이드를 제공합니다.
Transformers의 Wav2Vec2를 이용한 대용량 파일용 자동 음성 인식
Hugging Face는 Wav2Vec2의 Connectionist Temporal Classification (CTC) 아키텍처를 활용한 스트라이드(striding) 기술을 통해 임의의 길이의 오디오 파일 및 실시간 추론 시 고품질의 ASR을 가능할 수하게 합니다.
OpenAI InstructGPT: 언어 모델을 지침 준수하도록 정렬하기
OpenAI는 GPT-3와 비교하여 사용자의 의도를 더 잘 따르고, 진실성을 높이며, 유해성을 줄이기 위해 인간 피드백 기반 강화 학습(RLHF)을 사용하여 학습된 모델 시리즈인 InstructGPT를 소개했습니다.
OpenAI 텍스트 및 코드 임베딩 출시
OpenAI는 의미론적 검색, 클러스터링, 코드 검색을 개선하기 위해 텍스트와 코드의 수치적 표현을 제공하는 GPT-3 파생 모델 기반의 새로운 임베딩 모델 세트를 출시했습니다.
Hugging Face Hub Search API 업데이트
Hugging Face는 사용자가 IDE를 벗어나지 않고도 모델과 데이터셋을 쉽게 찾을 수 있도록 ModelSearchArguments 및 ModelFilter를 포함한 새로운 프로그래밍 방식의 검색 기능을 huggingface_hub 라이브러리에 도입했습니다.
OpenAI 대조 학습 사전 훈련을 통한 텍스트 및 코드 임베딩
OpenAI는 대규모 비지도 데이터에 대한 대조 학습 사전 훈련을 사용하여 고품질의 텍스트 및 코드 임베딩을 생성하는 방법을 개발했으며, 선형 프로브 분류 및 시맨틱 검색에서 최첨단 결과를 달성했습니다.
Stable-Baselines3 Hugging Face Hub 통합
Hugging Face는 Stable-Baselines3를 통합하여 사용자가 PyTorch Deep Reinforcement Learning 모델을 Hugging Face Hub에서 직접 호스팅, 공유 및 로드할 수 있도록 했습니다.
허깅 페이스 인피니티 CPU 성능 사례 연구
허깅 페이스 인피니티는 Intel Ice Lake Xeon CPU에서 vanilla Transformers에 비해 최대 800% 더 높은 처리량과 밀리초 수준의 지연 시간을 달성하여 CPU 인프라에서 비용 효율적이고 실시간 Transformer 배포를 가능하게 합니다.
Hugging Face Transformers에서 n-gram을 사용한 Wav2Vec2 성능 향상
Hugging Face는 pyctcdecode 라이브러리를 Transformers 라이브러리에 통합하여, Wav2Vec2 모델이 n-gram 언어 모델을 통해 성능을 향상시키고 철자 오류와 단어 오류율(WER)을 크게 줄일 수 있도록 했습니다.
Hugging Face Transformers를 사용하여 Amazon SageMaker에서 GPT-J 6B 배포하기
Hugging Face는 torch.save를 사용하여 EleutherAI의 GPT-J 6B 모델을 Amazon SageMaker에 배포하고 모델 로드 시간을 3분 이상에서 8초 미만으로 단축하는 방법을 제공합니다.
AutoNLP와 Prodigy를 활용한 능동 학습(Active Learning)
Hugging Face는 AutoNLP 자동화 학습 프레임워크와 Prodigy 어노테이션 도구를 결합하여 개체명 인식(NER)을 위한 능동 학습 파이프라인을 구축하는 방법을 보여줍니다.
Anthropic, Transformer 회로에 대한 수학적 프레임워크 발표
Anthropic는 Transformer 회로에 대한 새로운 수학적 프레임워크를 간략히 발표하며, 모델 행동에 대한 깊이 있는 이해를 가능하게 할 잠재력을 강조했지만, 게시물에서는 기술적 세부 사항을 제공하지 않았다.
Hugging Face가 Gradio를 인수하다
Hugging Face는 만들기 쉬운 머신러닝 데모 및 GUI를 자사 생태계에 통합하여 비기술적 사용자들에게 ML 접근성을 확장하기 위해 Gradio를 인수했습니다.
WebGPT: Web 브라우징을 통한 GPT-3 사실적 정확도 향상
OpenAI는 텍스트 기반 웹 브라우저를를 사용하여 정보를 조사하고 출처를 인용함으로써, 개방형 질문 답변 시 환각 현상을 줄이는 프로토타입인 WebGPT를 GPT-3를 미세 조정하여 개발했습니다.
Perceiver IO: 어떤 모달리티에도 적용 가능한 확장 가능한 완전 어텐션 모델
Perceiver IO는 잠재 공간을 사용하여 계산량을 입력 크기와 분리시키는 Transformer 기반 아키텍처로, 텍스트, 이미지, 오디오, 비디오, 포인트 클라우드 등을 2차 스케일링 문제 없이 처리할 수 있습니다.
애플리케이션을 위한 GPT-3 커스텀 설정
OpenAI는 GPT-3 미세 조정 기능을 출시하여, 개발자가 독점 데이터를 사용하여 모델을 훈련시켜 신뢰성을 높이고, 비용을 감소시키고, 지연 시간을 개선할 수 있도록 했습니다.
CodeParrot 처음부터 학습시키기
Hugging Face는 2,000만 개의 Python 파일로 구성된 정제된 데이터셋을 사용하여 Python 코드 자동 완성 기능을 제공하기 위해 처음부터 학습된 GPT-2 기반 모델인 CodeParrot를 소개합니다.
허깅 페이스 스노우볼 파이트 ML-Agents 환경
허깅 페이스는 Unity ML-Agents로 구축되고 허깅 페이스 스페이스에 호스팅된 첫 번째 커스텀 딥 강화 학습 환경인 Snowball Fight 1vs1을 출시했습니다.
Anthropic 연구: 정렬을 위한 실험실로서의 범용 언어 어시스턴트
Anthropic은 유익하고, 정직하며, 해롭지 않은 범용 언어 어시스턴트를 만들기 위한 방법을 탐구하며, 순위 기반 선호도 모델링이 모방 학습이나 이진 판별보다 더 효과적으로 확장된다는 것을 발견했습니다.
OpenAI Residency Program Announcement
OpenAI는 다른 분야의 연구원 및 엔지니어를 회사의 정규직 AI 역할로 전환할 수 있도록 설계된 6개월 유급 프로그램인 OpenAI Residency를 출시했습니다.
Graphcore IPU 통합을 위한 Hugging Face Optimum
Hugging Face는 Transformer 모델의 가속을 위해 Graphcore Intelligence Processing Units(IPU)와 Optimum 라이브러리를 통합했으며, 먼저 최적화된 BERT 구현부터 시작합니다.
Hugging Face Data Measurements Tool
Hugging Face는 개발자가 더욱 책임감 있는 AI 개발을 위해 ML 데이터셋을 분석, 큐레이션 및 비교할 수 있도록 설계된 오픈 소스 Python 라이브러리이자 노코드(no-code) 인터페이스인 Data Measurements Tool을 출시했습니다.
Intel 기술을 활용한 PyTorch 분산 미세 조정 가속화
Hugging Face는 Intel extension for PyTorch와 oneCCL을 사용하여 Intel Xeon Scalable CPU 서버 클러스터에 미세 조정 작업을 분산함으로써 PyTorch 훈련을 가속화하는 방법을 보여줍니다.
OpenAI API 접근: GPT-3 대기열 제거
OpenAI는 지원되는 국가의 개발자가 즉시 가입하여 실험을 시작할 수 있도록 GPT-3 API의 대기열을 제거했습니다.
저자원 자동 음성 인식(ASR)을 위한 XLS-R 미세 조정
Hugging Face는 Transformers 라이브러리를 사용하여 저자원 자동 음성 인식(ASR)을 위한 교차 언어 음성 표현 모델인 XLS-R을 미세 조정하는 방법에 대한 기술 가이드를 제공합니다.
최신 CPU에서 BERT와 유사한 모델의 추론 확장 - 파트 2
Hugging Face는 Intel Ice Lake Xeon CPU에서 BERT와 유사한 모델을 위한 소프트웨어 수준의 최적화를 탐구하며, 메모리 할당자, 병렬화 라이브러리, 그리고 Bayesian optimization이 어떻게 추론 지연 시간을 크게 줄일 수 있는지 보여줍니다.
OpenAI의 수학 문장제 문제 해결 및 GSM8K 데이터셋
OpenAI는 학습된 검증기를 사용하여 미세 조정된 GPT-3보다 거의 두 배 높은 정확도로 초등학교 수학 문장제 문제를 해결하는 시스템을 개발했으며, 9-12세 어린이의 60% 정확도에 비해 55%의 정확도를 달성했습니다.
Hugging Face 코스 파트 2 및 커뮤니티 이벤트 출시
Hugging Face는 2021년 11월 15일에 기술 발표와 실습 프로젝트가 포함된 커뮤니티 이벤트를 동반하여 Hugging Face 코스 파트 2를 출시했다고 발표했습니다.
대규모 언어 모델: 새로운 무어의 법칙인가?
Hugging Face는 지수적으로 증가하는 모델 크기 추세, 예를 들어 530B 파라미터 Megatron-Turing NLG를 비판하고, 증류 및 파인튜닝과 같은 실용적이고 효율적인 대안을 옹호합니다.
10억 개의 학습 쌍을 사용한 Hugging Face 문장 임베딩 모델
Hugging Face는 JAX/Flax 및 TPU 인프라를 사용하여 최대 10억 개의 문장 쌍을 학습함으로써 최첨단 범용 문장 임베딩 모델을 개발했습니다.
Hugging Face: 머신러닝 as 코드의 시대
허깅 페이스는 MLOps를 채택하고 범용 트랜스포머 아키텍처를 활용하며, 샌드박스 실험보다 프로덕션 배포를 우선시함으로써 머신러닝을 소프트웨어 엔지니어링 분야로 취급하도록 주장한다.
원격 탐사 및 위성 이미지를 위한 CLIP 미세 조정
연구원들은 RSICD 데이터셋과 기타 위성 이미지를 사용하여 OpenAI의 CLIP 모델을 미세 조정함으로써 원격 탐사 응용 분야를 위한 텍스트-이미지 검색 성능을 significantly improve 시켰습니다.
Hugging Face Spaces와 Gradio 통합
Hugging Face는 Gradio를 Spaces에 통합하여, 사용자가 Inference API 또는 커스텀 모델 체크포인트를 사용하여 머신러닝 모델 데모를 쉽게 호스팅하고 선보일 수 있도록 합니다.
Streamlit을 사용하여 Hugging Face Spaces에 모델 및 데이터셋 호스팅하기
Hugging Face Spaces는 Streamlit과 통합되어 사용자가 머신러닝 모델 및 데이터 시각화를 위한 대화형 데모를 빠르게 구축하고 호스팅할 수 있도록 합니다.
Hugging Face Summer 2021 Update
Hugging Face는 ML 데모 호스팅을 위한 Spaces Beta, TensorBoard 통합, 그리고 하드웨어 가속을 위한 Optimum 라이브러리 출시를 포함하여 일련의 Hub enhancements를 발표했습니다.
OpenAI, 인간 피드백을 이용한 책 요약 (2021)
OpenAI는 인간 피드백으로부터의 강화 학습과 재귀적 작업 분해를 결합하여 전체 책의 요약을 생성하는 기술을 도입했으며, 이는 평가하기 어려운 작업에 대한 AI 감독의 정렬 문제를 해결합니다.