DALL·E 2 사전 학습 완화 조치
OpenAI는 데이터 필터링을 위한 능동 학습, 편향 증폭을 방지하기 위한 가중치 재조정 방식, 그리고 DALL·E 2에서 이미지 재생성을 제거하기 위한 클러스터링 기반 중복 제거 과정을 구현했습니다.
OpenAI 비디오 사전학습 (VPT) for Minecraft
OpenAI는 비디오 사전학습(VPT)이라는 반지도 학습 모방 학습 방법을 도입했으며, 이를 통해 인간 플레이의 방대한 라벨이 없는 비디오 데이터셋을 학습함으로써 에이전트가 Minecraft에서 복잡한 행동을 학습할 수 있게 되었습니다.
OpenAI 대형 모델을 통한 진화 (ELM) 연구
OpenAI는 대형 모델을 통한 진화(ELM)를 소개합니다. 이 방법은 LLM을 활용해 인간과 유사한 코드 변이를 근사함으로써 유전 프로그래밍을 개선하고 새로운 도메인에서 기능적인 프로그램을 생성합니다.
AI가 작성한 비평이 인간이 결함을 발견하도록 돕는다
OpenAI 연구는 AI가 생성한 비평이 인간 평가자가 요약문에서 훨씬 더 많은 결함을 식별하도록 돕는다는 것을 보여주며, 복잡한 AI 작업에 대한 인간 감독을 확장 가능한 방식으로 구현할 수 있음을 시사합니다.
대규모 신경망 훈련을 위한 OpenAI 기술
OpenAI는 대규모 AI 모델 훈련을 위해 GPU 클러스터를 조정하는 데 사용되는 주요 병렬 처리 전략—데이터, 파이프라인, 텐서, 그리고 전문가 병렬 처리—과 메모리 절감 기술을 개요합니다.
OpenAI, Cohere, 및 AI21 Labs 언어 모델 배포를 위한 모범 사례
OpenAI, Cohere, 및 AI21 Labs는 대형 언어 모델의 책임 있는 개발 및 배포를 위해 위험을 완화하고 오용을 방지하기 위한 초기 모범 사례를 공동으로 발표했습니다.
OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기
OpenAI 연구원들은 GPT-3가 모델 로짓에 의존하지 않고도 자연어로 답변에 대한 보정된 불확실성을 표현하도록 학습시킬 수 있음을 입증했습니다.
OpenAI Codex 애플리케이션 및 통합
OpenAI Codex는 GPT-3 기반의 자연어-코드 변환 시스템으로, GitHub Copilot을 포함한 70개 이상의 애플리케이션에 적용되어 영어 지시를 코드로 변환함으로써 개발자 생산성을 높입니다.
OpenAI DALL·E 2 연구 미리보기 업데이트
OpenAI는 300만 장 이상의 이미지를 생성한 제한된 연구 미리보기 이후, 대기자 명단에 있는 사용자에게 주당 1,000명씩 DALL·E 2 접근을 확대하고 있습니다.
OpenAI 리더십 팀 업데이트
OpenAI는 Greg Brockman, Brad Lightcap, Mira Murati, Chris Clark의 임원 역할 변화를 발표했으며, 이는 리더십을 회사의 성장 및 전략적 이정표에 맞추기 위한 것입니다.
AI 정렬에서 구드하트 법칙 측정
OpenAI는 AI 모델에서 프록시 목표를 최적화하면 실제 목표 성능이 감소하는 구드하트 법칙 현상이 발생할 수 있음을 탐구하고, 이를 분석하기 위한 방법으로 best-of-n 샘플링을 제안합니다.
CLIP 잠재 변수를 이용한 계층적 텍스트 조건 이미지 생성
OpenAI는 텍스트에서 CLIP 이미지 임베딩을 생성하는 프라이어와 해당 임베딩으로부터 이미지를 생성하는 디코더를 사용하는 2단계 생성 모델을 소개합니다. 이 모델은 다양성을 향상시키고 제로샷 이미지 조작을 가능하게 합니다.
OpenAI의 수학 문장제 문제 해결 및 GSM8K 데이터셋
OpenAI는 학습된 검증기를 사용하여 미세 조정된 GPT-3보다 거의 두 배 높은 정확도로 초등학교 수학 문장제 문제를 해결하는 시스템을 개발했으며, 9-12세 어린이의 60% 정확도에 비해 55%의 정확도를 달성했습니다.
OpenAI, 인간 피드백을 이용한 책 요약 (2021)
OpenAI는 인간 피드백으로부터의 강화 학습과 재귀적 작업 분해를 결합하여 전체 책의 요약을 생성하는 기술을 도입했으며, 이는 평가하기 어려운 작업에 대한 AI 감독의 정렬 문제를 해결합니다.
코드로 학습된 대규모 언어 모델 평가: OpenAI Codex
OpenAI는 GitHub 코드로 미세 조정된 GPT 모델인 Codex를 소개합니다. Codex는 단일 시도에서 HumanEval 문제의 28.8%를 해결하며, 반복 샘플링을 사용하면 최대 70.2%까지 해결할 수 있습니다.
OpenAI Scholars 2021: 최종 프로젝트
OpenAI는 2021 Scholars 프로그램의 최종 프로젝트를 발표했으며, 다양한 연구자 그룹으로부터 스케일링 법칙, 보상 모델링, 강화 학습에 대한 연구를 특징으로 합니다.
Will Hurd OpenAI 이사회 합류
OpenAI는 공공 정책 전문성을 기술적 AI 개발과 통합하기 위해 전 미국 하원의원 Will Hurd를 이사회 멤버로 임명했습니다.
GPT-3 API 생태계 및 애플리케이션 성장
OpenAI는 300개 이상의 애플리케이션과 수만 명의 개발자가 다양한 산업 분야에서 GPT-3를 사용하여 하루 평균 45억 개의 단어를 생성하고 있다고 보고합니다.
CLIP의 멀티모달 뉴런
OpenAI는 CLIP에서 literal, 상징적, 개념적으로 제시되든 동일한 개념에 반응하는 뉴런을 발견했으며, 이는 인간 뇌에서 발견되는 멀티모달 뉴런을 반영합니다.
대규모 언어 모델의 능력, 한계 및 사회적 영향 이해하기
OpenAI는 GPT-3 및 기타 대규모 언어 모델과 관련된 기술적 경계와 사회적 위험을 탐구하는 다학제적 워크숍을 요약합니다.
OpenAI가 7,500노드로 Kubernetes를 확장
OpenAI는 머신러닝 연구를 위한 간단하고 확장 가능한 인프라를 제공하기 위해 단일 Kubernetes 클러스터를 7,500노드로 확장했으며, 네트워킹, API 서버 부하, 모니터링의 과제를 극복했습니다.
CLIP: 텍스트와 이미지 연결하기
OpenAI는 다양한 데이터셋에 걸쳐 zero-shot 이미지 분류를 가능합니다하게 하기 위해 자연어 감독을 통해 시각적 개념을 적습학습하는 신경망인 CLIP을 도입했습니다.
DALL·E: 텍스트로 이미지 생성하기
OpenAI는 이미지와 텍스트를 단일 토큰 스트림으로 취급하여 텍스트 설명으로부터 다양한 이미지를 생성할 수 있는 120억 개의 파라미터를 가진 transformer 모델인 DALL·E를 소개했습니다.
OpenAI 조직 업데이트 2020년 12월
OpenAI는 안전과 제품 개발을 더 잘 통합하기 위해 연구 부사장 Dario Amodei의 퇴사 및 Mira Murati를 연구, 제품 및 파트너십 부문 수석 부사장으로 임명했음을 발표했습니다.
OpenAI가 Microsoft에 GPT-3 기술 라이선스를 제공합니다
OpenAI는 제3자 개발자를 위한 독립적인 API 액세스를 유지하면서, Microsoft 제품 및 서비스에 통합하기 위해 GPT-3 언어 모델 기술을 Microsoft에 라이선스했습니다.
자동 정리 증명을 위한 생성형 언어 모델링
OpenAI는 Metamath 형식화 언어를 위해 설계된 트랜스포머 기반 언어 모델인 GPT-f를 소개하며, 이는 메인 Metamath 라이브러리에 새로운 증명을 성공적으로 기여했습니다.
Human 피드백을 이용한 요약 학습
OpenAI는 인간 피드백 기반 강화 학습(RLHF)이 지도 학습만으로 훈련된 훨씬 더 큰 모델보다 작은 언어 모델이 텍스트 요약에서 더 나은 성능을 낼 수 있음을 보여줍니다.
OpenAI Scholars 2020 최종 프로젝트
OpenAI는 2020 Scholars 프로그램의 최종 프로젝트를 발표했으며, 신경망 해석 가능성, 강화 학습, 의미 분석, 의료 AI 분야의 연구를 선보였습니다.
OpenAI Procgen 및 MineRL 경연 대회
OpenAI는 강화 학습의 샘플 효율성 및 일반화 능력을 향상시키기 위해 Procgen Benchmark와 MineRL을 사용하는 두 개의 NeurIPS 2020 경연 대회를 공동 주최합니다.
Image GPT
OpenAI의 Image GPT (iGPT)는 픽셀 시퀀스에 대해 학습된 transformer 모델이 도메인 특화된 architectural priors 없이도 일관성 있는 이미지를 생성하고 경쟁력 있는 비지도 학습 시각적 특징을 학습할 수 있음을 보여줍니다.
OpenAI API 출시
OpenAI는 다양한 AI 기반 애플리케이션 개발을 가능하게 하기 위해 GPT-3 제품군 모델에 대한 접근을 제공하는 범용 text-in, text-out API를 출시했습니다.
OpenAI GPT-3: Language Models as Few-Shot Learners
OpenAI는 작업별 미세 조정 없이 다양한 NLP 작업에 걸쳐 강력한 퓨샷 성능을 보여주는 1750억 개의 파라미터를 가진 자기회귀 언어 모델인 GPT-3를 도입했습니다.
OpenAI AI 및 효율성 분석
OpenAI의 분석에 따르면, 알고리즘적 진보가 2012년 이후 16개월마다 필요한 컴퓨팅 양을 절반으로 줄여 신경망을 동일한 성능 수준으로 훈련하는 데 드는 비용을 감소시켰다고 밝혔습니다.
OpenAI Jukebox
OpenAI Jukebox는 장르, 아티스트, 가사를 조건으로 하여 기초적인 노래를 포함한 원시 오디오 음악을 생성할 수 있는 신경망입니다.
OpenAI: AI 개발의 검증 가능성 향상
OpenAI와 다기관 연합은 경쟁적인 편법 사용을 방지하기 위해 이해관계자들이 AI 시스템이 명시된 윤리 원칙과 안전 표준을 준수하는지 검증하는 데 도움이 되는 10가지 메커니즘을 제안합니다.
OpenAI Microscope: 신경망 해석 가능성을 위한 도구
OpenAI Microscope는 여러 흔히 연구되는 시각 모델의 모든 뉴런을 체계적으로 시각화하여 신경망의 역공학에 대한 연구를 가속화하는 시각화 도구입니다.
OpenAI, PyTorch로 표준화
OpenAI는 생성 모델링의 연구 생산성을 높이고 반복 시간을 단축하기 위해 딥러닝 프레임워크를 PyTorch로 표준화했습니다.
OpenAI 신경망 언어 모델을 위한 스케일링 법칙
OpenAI 연구원들은 언어 모델의 성능이 모델 크기, 데이터셋 크기, 컴퓨팅 양과 예측 가능한 멱법칙 관계를 따른다는 것을 발견했으며, 이를 통해 훈련 리소스를 최적으로 할당할 수 있습니다.
OpenAI Five: Dota 2 강화 학습
OpenAI Five는 e스포츠 게임에서 세계 챔피언을 물리친 최초의 AI 시스템으로, 대규모 셀프 플레이 강화 학습이 복잡하고 연속적인 상태-행동 공간에서 초인적인 성능을 달성할 수 있음을 보여줍니다.
OpenAI 딥 더블 디센트
OpenAI 연구원들은 CNN, ResNet, 트랜스포머가 모델 크기, 데이터 크기, 또는 학습 시간이 증가함에 따라 성능이 개선되었다가 악화되었다가 다시 개선되는 더블 디센트 현상을 보임을 보여준다.
OpenAI Procgen Benchmark 출시
OpenAI는 강화 학습 에이전트가 보지 못한 레벨로 기술을 일반화하는 능력을 측정하기 위해 설계된 16개의 절차적 생성 환경 세트인 Procgen Benchmark를 출시했습니다.
OpenAI 딥러닝 강화학습에서의 안전한 탐색 벤치마킹
OpenAI는 고차원 연속 제어 환경에서 안전한 탐색을 위한 주요 형식으로 제약 조건이 있는 강화학습을 표준화하기 위해 Safety Gym 벤치마크 제품군을 도입합니다.
OpenAI Safety Gym 출시
OpenAI는 훈련 과정에서 강화 학습 에이전트가 안전 제약 조건을 준수할 수 있는 능력을 측정하고 개선하기 위해 설계된 환경 및 도구 모음인 Safety Gym을 출시했습니다.
GPT-2 1.5B 릴리스 노트
OpenAI는 15억 파라미터 규모의 가장 큰 GPT-2 버전을 출시하여, 책임 있는 AI 게시를 위한 사례 연구를 제공함으로써 단계적 출시 프로세스를 완료했습니다.
OpenAI 로봇 손으로 루빅스 큐브 풀기
OpenAI는 인간과 유사한 로봇 손을 사용하여 루빅스 큐브를 풀 수 있는 신경망 쌍을 훈련시켰으며, 시뮬레이션에서 학습한 기술을 실제 세계로 전이하기 위해 새로운 기술인 Automatic Domain Randomization(ADR)을 활용했습니다.
OpenAI Scholars 2020 Program Applications
OpenAI는 소외 계층 출신의 8명에게 딥러닝을 공부하고 프로젝트를 오픈 소스로 공개할 수 있도록 지원금과 멘토링을를 제공하는 4개월 프로그램인 세 번째 OpenAI Scholars 기수 모집을 시작했습니다.
인간 선호도를 기반으로 한 GPT-2 미세 조정
OpenAI는 인간 피드백을 사용하여 774M 파라미터 GPT-2 모델을 미세 조정하여 스타일적 텍스트 이어쓰기와 요약을 개선했으며, 인간 라벨러가 종종 새로운 합성보다 정확한 복사를 선호한다는 것을 발견했습니다.
OpenAI 에이전트 간 상호작용을 통한 emergent 툴 사용
OpenAI 연구원들은 시뮬레이션된 숨바꼭질 게임에서 에이전트가 멀티에이전트 공동 적응과 self-play를 통해 여섯 가지 distinct한 수준의 복잡한 툴 사용과 전략을 개발했다는 것을 발견했다.
OpenAI 예기치 못한 적대적 공격에 대한 강건성 테스트
OpenAI는 신경망 분류기가 훈련 과정에서 접하지 못한 적대적 공격에 대해 얼마나 잘 방어하는지 평가하기 위해 새로운 지표인 예기치 못한 공격 강건성(Unforeseen Attack Robustness, UAR)을 도입했습니다.
GPT-2 6개월 후속 보고서
OpenAI는 774M 파라미터 GPT-2 모델을 출시하고 합성 텍스트의 위험성, 탐지의 어려움, 그리고 대규모 언어 모델을 위한 단계적 출시 전략의 필요성에 대한 교훈을 공유했습니다.