CLIP의 멀티모달 뉴런
OpenAI는 CLIP에서 literal, 상징적, 개념적으로 제시되든 동일한 개념에 반응하는 뉴런을 발견했으며, 이는 인간 뇌에서 발견되는 멀티모달 뉴런을 반영합니다.
Hugging Face: 신경망 구축을 위한 간단한 고려 사항
Hugging Face는 맹목적인 하이퍼파라미터 튜닝 대신 데이터 분석, 간단한 베이스라인, 그리고 엄격한 구현 검증을 우선시함으로써 신경망을 구축하고 디버깅하는 프레임워크를 제공합니다.
Hugging Face Transformers와 Ray를 활용한 Retrieval Augmented Generation
Hugging Face는 검색 호출 속도를 2배 향상시키고 분산 미세 조정의 확장성을 개선하기 위해 Retrieval Augmented Generation (RAG) 모델의 문서 검색 메커니즘에 Ray를 통합했습니다.
Hugging Face PyTorch / XLA TPU Integration
Hugging Face는 PyTorch 사용자가 기존의 Hugging Face Trainer 인터페이스를 사용하여 Cloud TPU에서 트랜스포머 모델을 학습시키고 확장할 수 있도록 PyTorch / XLA를 통합했습니다.
대규모 언어 모델의 능력, 한계 및 사회적 영향 이해하기
OpenAI는 GPT-3 및 기타 대규모 언어 모델과 관련된 기술적 경계와 사회적 위험을 탐구하는 다학제적 워크숍을 요약합니다.
Hugging Face Transformers v4.2.0 TensorFlow 성능 및 서빙 업데이트
Hugging Face Transformers v4.2.0은 TensorFlow 모델에 대한 상당한 연산 성능 향상을 도입하고, SavedModel 형식을 사용하여 TensorFlow Serving을 통한 간소화된 배포를 지원합니다.
OpenAI가 7,500노드로 Kubernetes를 확장
OpenAI는 머신러닝 연구를 위한 간단하고 확장 가능한 인프라를 제공하기 위해 단일 Kubernetes 클러스터를 7,500노드로 확장했으며, 네트워킹, API 서버 부하, 모니터링의 과제를 극복했습니다.
DeepSpeed 및 FairScale를 통한 Hugging Face Transformers ZeRO 통합
Hugging Face Transformers v4.2.0은 DeepSpeed 및 FairScale의 ZeRO 최적화를 실험적으로 지원하여, 더 높은 배치 크기와 감소된 GPU 메모리 요구 사항으로 더 큰 모델을 학습할 수 있게 합니다.
Hugging Face 가속 추론 API 최적화
Hugging Face는 고수준 라이브러리 최적화, Rust 기반 토큰화, 하드웨어별 컴파일을 결합하여 Accelerated Inference API의 transformer 추론 속도를 100배 향상시켰습니다.
CLIP: 텍스트와 이미지 연결하기
OpenAI는 다양한 데이터셋에 걸쳐 zero-shot 이미지 분류를 가능합니다하게 하기 위해 자연어 감독을 통해 시각적 개념을 적습학습하는 신경망인 CLIP을 도입했습니다.
DALL·E: 텍스트로 이미지 생성하기
OpenAI는 이미지와 텍스트를 단일 토큰 스트림으로 취급하여 텍스트 설명으로부터 다양한 이미지를 생성할 수 있는 120억 개의 파라미터를 가진 transformer 모델인 DALL·E를 소개했습니다.
OpenAI 조직 업데이트 2020년 12월
OpenAI는 안전과 제품 개발을 더 잘 통합하기 위해 연구 부사장 Dario Amodei의 퇴사 및 Mira Murati를 연구, 제품 및 파트너십 부문 수석 부사장으로 임명했음을 발표했습니다.
인코더-디코더 모델을 위한 사전 학습된 언어 모델 체크포인트 활용하기 – Hugging Face 블로그 요약
Hugging Face의 블로그 게시물은 사전 학습된 BERT, RoBERTa 또는 GPT2 체크포인트를 사용하여 인코더-디코더 모델을 warm-start하는 방법을 설명하며, 이 접근 방식이 훈련 비용을 절감하면서도 대규모 사전 학습된 seq2seq 모델의 성능과 일치함을 보여줍니다.
Porting fairseq WMT19 translation system to 🤗 Transformers
Hugging Face ported the fairseq WMT19 translation models (en‑ru, ru‑en, de‑en, en‑de) to the 🤗 Transformers library, allowing users to load and run these high‑quality translators with the standard Transformers API.
Hugging Face Transformers와 Ray Tune 통합
Hugging Face Transformers 3.1은 Ray Tune과의 통합을 도입하여 사용자가 Population-Based Training 및 Bayesian Optimization과 같은 고급 하이퍼파라미터 튜닝 알고리즘을 손쉽게 구현할 수 있게 합니다.
Transformer 기반 인코더-디코더 모델 Hugging Face 블로그 포스트 2020
허깅페이스의 2020년 블로그 포스트는 트랜스포머 기반 인코더-디코더 아키텍처를 설명하며, 인코더와 디코더 스택, 셀프 어텐션, 크로스 어텐션, 자기회귀 생성을 통해 입력 시퀀스를 가변 길이 출력으로 매핑하는 방법을 상세히 다루고, 🤗Transformers 라이브러리로 사용하는 방법을 보여줍니다.
OpenAI가 Microsoft에 GPT-3 기술 라이선스를 제공합니다
OpenAI는 제3자 개발자를 위한 독립적인 API 액세스를 유지하면서, Microsoft 제품 및 서비스에 통합하기 위해 GPT-3 언어 모델 기술을 Microsoft에 라이선스했습니다.
Hugging Face pytorch_block_sparse 릴리스
Hugging Face는 pytorch_block_sparse를 출시했습니다. 이 라이브러리는 BlockSparseLinear 모듈을 제공하여 메모리 사용량을 줄이고 표준 PyTorch 희소 행렬에 비해 계산 효율성을 높여 더 작고 빠른 언어 모델을 만들 수 있게 합니다.
자동 정리 증명을 위한 생성형 언어 모델링
OpenAI는 Metamath 형식화 언어를 위해 설계된 트랜스포머 기반 언어 모델인 GPT-f를 소개하며, 이는 메인 Metamath 라이브러리에 새로운 증명을 성공적으로 기여했습니다.
Human 피드백을 이용한 요약 학습
OpenAI는 인간 피드백 기반 강화 학습(RLHF)이 지도 학습만으로 훈련된 훨씬 더 큰 모델보다 작은 언어 모델이 텍스트 요약에서 더 나은 성능을 낼 수 있음을 보여줍니다.
OpenAI Scholars 2020 최종 프로젝트
OpenAI는 2020 Scholars 프로그램의 최종 프로젝트를 발표했으며, 신경망 해석 가능성, 강화 학습, 의미 분석, 의료 AI 분야의 연구를 선보였습니다.
Reformer: 메모리 효율적인 트랜스포머로 언어 모델링의 한계를 넘어서
Hugging Face에서 2020년 7월에 도입된 Reformer 모델은 LSH 셀프 어텐션, 로컬 셀프 어텐션, 청크된 피드 포워드 레이어, 가역적 잔차 레이어, 축 위치 인코딩을 결합하여 8 GB 미만의 RAM으로 최대 50만 토큰 길이의 시퀀스에 대한 훈련을 가능하게 합니다.
OpenAI Procgen 및 MineRL 경연 대회
OpenAI는 강화 학습의 샘플 효율성 및 일반화 능력을 향상시키기 위해 Procgen Benchmark와 MineRL을 사용하는 두 개의 NeurIPS 2020 경연 대회를 공동 주최합니다.
Image GPT
OpenAI의 Image GPT (iGPT)는 픽셀 시퀀스에 대해 학습된 transformer 모델이 도메인 특화된 architectural priors 없이도 일관성 있는 이미지를 생성하고 경쟁력 있는 비지도 학습 시각적 특징을 학습할 수 있음을 보여줍니다.
OpenAI API 출시
OpenAI는 다양한 AI 기반 애플리케이션 개발을 가능하게 하기 위해 GPT-3 제품군 모델에 대한 접근을 제공하는 범용 text-in, text-out API를 출시했습니다.
OpenAI GPT-3: Language Models as Few-Shot Learners
OpenAI는 작업별 미세 조정 없이 다양한 NLP 작업에 걸쳐 강력한 퓨샷 성능을 보여주는 1750억 개의 파라미터를 가진 자기회귀 언어 모델인 GPT-3를 도입했습니다.
OpenAI AI 및 효율성 분석
OpenAI의 분석에 따르면, 알고리즘적 진보가 2012년 이후 16개월마다 필요한 컴퓨팅 양을 절반으로 줄여 신경망을 동일한 성능 수준으로 훈련하는 데 드는 비용을 감소시켰다고 밝혔습니다.
OpenAI Jukebox
OpenAI Jukebox는 장르, 아티스트, 가사를 조건으로 하여 기초적인 노래를 포함한 원시 오디오 음악을 생성할 수 있는 신경망입니다.
OpenAI: AI 개발의 검증 가능성 향상
OpenAI와 다기관 연합은 경쟁적인 편법 사용을 방지하기 위해 이해관계자들이 AI 시스템이 명시된 윤리 원칙과 안전 표준을 준수하는지 검증하는 데 도움이 되는 10가지 메커니즘을 제안합니다.
OpenAI Microscope: 신경망 해석 가능성을 위한 도구
OpenAI Microscope는 여러 흔히 연구되는 시각 모델의 모든 뉴런을 체계적으로 시각화하여 신경망의 역공학에 대한 연구를 가속화하는 시각화 도구입니다.
Hugging Face 텍스트 생성 디코딩 방법 가이드
Hugging Face는 Greedy Search, Beam Search, Sampling (Top-K 및 Top-p)를 포함한 자기회귀 디코딩 전략에 대한 포괄적인 개요를 제공하여 Transformers에서 개방형 언어 생성을 최적화합니다.
Transformers와 Tokenizers를 사용하여 처음부터 언어 모델 학습시키기
Hugging Face는 Transformers와 Tokenizers 라이브러리를 사용하여 에스페란토 언어를 위한 EsperBERTo를 생성하는 과정을 통해, 새로운 언어 모델을 처음부터 학습시키는 방법에 대한 포괄적인 가이드와 시연을 제공합니다.
OpenAI, PyTorch로 표준화
OpenAI는 생성 모델링의 연구 생산성을 높이고 반복 시간을 단축하기 위해 딥러닝 프레임워크를 PyTorch로 표준화했습니다.
OpenAI 신경망 언어 모델을 위한 스케일링 법칙
OpenAI 연구원들은 언어 모델의 성능이 모델 크기, 데이터셋 크기, 컴퓨팅 양과 예측 가능한 멱법칙 관계를 따른다는 것을 발견했으며, 이를 통해 훈련 리소스를 최적으로 할당할 수 있습니다.
OpenAI Five: Dota 2 강화 학습
OpenAI Five는 e스포츠 게임에서 세계 챔피언을 물리친 최초의 AI 시스템으로, 대규모 셀프 플레이 강화 학습이 복잡하고 연속적인 상태-행동 공간에서 초인적인 성능을 달성할 수 있음을 보여줍니다.
OpenAI 딥 더블 디센트
OpenAI 연구원들은 CNN, ResNet, 트랜스포머가 모델 크기, 데이터 크기, 또는 학습 시간이 증가함에 따라 성능이 개선되었다가 악화되었다가 다시 개선되는 더블 디센트 현상을 보임을 보여준다.
OpenAI Procgen Benchmark 출시
OpenAI는 강화 학습 에이전트가 보지 못한 레벨로 기술을 일반화하는 능력을 측정하기 위해 설계된 16개의 절차적 생성 환경 세트인 Procgen Benchmark를 출시했습니다.
OpenAI 딥러닝 강화학습에서의 안전한 탐색 벤치마킹
OpenAI는 고차원 연속 제어 환경에서 안전한 탐색을 위한 주요 형식으로 제약 조건이 있는 강화학습을 표준화하기 위해 Safety Gym 벤치마크 제품군을 도입합니다.
OpenAI Safety Gym 출시
OpenAI는 훈련 과정에서 강화 학습 에이전트가 안전 제약 조건을 준수할 수 있는 능력을 측정하고 개선하기 위해 설계된 환경 및 도구 모음인 Safety Gym을 출시했습니다.
GPT-2 1.5B 릴리스 노트
OpenAI는 15억 파라미터 규모의 가장 큰 GPT-2 버전을 출시하여, 책임 있는 AI 게시를 위한 사례 연구를 제공함으로써 단계적 출시 프로세스를 완료했습니다.
OpenAI 로봇 손으로 루빅스 큐브 풀기
OpenAI는 인간과 유사한 로봇 손을 사용하여 루빅스 큐브를 풀 수 있는 신경망 쌍을 훈련시켰으며, 시뮬레이션에서 학습한 기술을 실제 세계로 전이하기 위해 새로운 기술인 Automatic Domain Randomization(ADR)을 활용했습니다.
OpenAI Scholars 2020 Program Applications
OpenAI는 소외 계층 출신의 8명에게 딥러닝을 공부하고 프로젝트를 오픈 소스로 공개할 수 있도록 지원금과 멘토링을를 제공하는 4개월 프로그램인 세 번째 OpenAI Scholars 기수 모집을 시작했습니다.
인간 선호도를 기반으로 한 GPT-2 미세 조정
OpenAI는 인간 피드백을 사용하여 774M 파라미터 GPT-2 모델을 미세 조정하여 스타일적 텍스트 이어쓰기와 요약을 개선했으며, 인간 라벨러가 종종 새로운 합성보다 정확한 복사를 선호한다는 것을 발견했습니다.
OpenAI 에이전트 간 상호작용을 통한 emergent 툴 사용
OpenAI 연구원들은 시뮬레이션된 숨바꼭질 게임에서 에이전트가 멀티에이전트 공동 적응과 self-play를 통해 여섯 가지 distinct한 수준의 복잡한 툴 사용과 전략을 개발했다는 것을 발견했다.
OpenAI 예기치 못한 적대적 공격에 대한 강건성 테스트
OpenAI는 신경망 분류기가 훈련 과정에서 접하지 못한 적대적 공격에 대해 얼마나 잘 방어하는지 평가하기 위해 새로운 지표인 예기치 못한 공격 강건성(Unforeseen Attack Robustness, UAR)을 도입했습니다.
GPT-2 6개월 후속 보고서
OpenAI는 774M 파라미터 GPT-2 모델을 출시하고 합성 텍스트의 위험성, 탐지의 어려움, 그리고 대규모 언어 모델을 위한 단계적 출시 전략의 필요성에 대한 교훈을 공유했습니다.
OpenAI Learning Day: Cultivating Cross-Functional Expertise"}],
OpenAI는 다학제적 기술 성장을 촉진하고 전문적 정체를 방지하기 위해 매주 목요일을 전용 자기 주도 학습일인 'Learning Day'를 시행하고 있습니다.
Microsoft와 OpenAI의 AGI 개발을 위한 파트너십
Microsoft는 유익한 인공 일반 지능(AGI)의 창출을 향해 확장 가능한 Azure 기반의 하드웨어 및 소프트웨어 플랫폼을 공동 개발하기 위해 OpenAI에 10억 달러를 투자했습니다.
OpenAI AI 안전 협력을 위한 프레임워크
OpenAI는 산업 전반에 걸쳐 안전 규범 및 표준에 대한 협력을 촉진함으로써 AI 개발에서의 집단 행동 문제를 방지하기 위한 네 가지 전략을 제안합니다.
OpenAI 로보틱스 심포지엄 2019
OpenAI는 2019년 4월 27일에 첫 번째 로보틱스 심포지엄을 개최하여 로봇과 기계 학습 분야의 전문가들을 모아 학습하는 로봇 개발을 논의했습니다.