✷ 아카이브 · 연구소 11곳 · 디스패치 1,214건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
DALL·E 아웃페인팅 기능 출시
OpenAI는 DALL·E용 아웃페인팅을 도입했으며, 사용자가 자연어 설명을 활용해 이미지의 원래 경계를 넘어 확장하면서 시각적 일관성을 유지할 수 있게 했습니다.
OpenAI, 인간 피드백을 통한 강화학습 및 InstructGPT를 활용한 정렬 전략 발표
OpenAI는 인간 피드백을 통한 강화학습과 InstructGPT를 효과적이고 저비용인 방법으로 강조하며, 언어 모델이 인간 의도를 따르도록 만들면서 현재의 한계와 AI 기반 정렬 연구의 향후 목표를 상세히 설명했습니다.
OpenAI Moderation 엔드포인트 출시
OpenAI는 개발자가 애플리케이션에서 금지된 콘텐츠를 감지하고 차단할 수 있도록 GPT 기반 분류기를 제공하는 무료 Moderation 엔드포인트를 출시했습니다.
OpenAI, Fill‑in‑the‑Middle을 위한 언어 모델 효율적 훈련 발표
OpenAI는 자동 회귀 언어 모델이 좌‑우 생성 품질을 손상시키지 않으면서 Fill‑in‑the‑Middle 작업을 수행하도록 하는 새로운 훈련 방식을 공개했으며, 이는 인필 기능을 간단하고 효율적으로 추가할 수 있는 방법입니다.
코드 합성 대형 언어 모델을 위한 위험 분석 프레임워크
OpenAI는 Codex와 같은 고급 코드 생성 모델의 배포와 관련된 기술적, 사회적, 정치적, 경제적 위험을 식별하고 완화하기 위한 위험 분석 프레임워크를 도입했습니다.
OpenAI DALL·E 베타 출시
OpenAI는 DALL·E가 100만 명의 초대된 사용자에게 베타로 제공되며, 매월 무료 크레딧과 상업적 사용 권리를 제공한다고 발표했습니다.
DALL·E 2에서 편향 감소 및 안전성 향상
OpenAI는 생성된 인물의 다양성을 높이고, 기만적인 콘텐츠 생성을 방지하기 위해 안전 필터를 강화하는 시스템 수준 기술을 DALL·E 2에 적용했습니다.
DALL·E 2: 창의성 확장
OpenAI의 DALL·E 2 연구 미리보기가 118개국의 3,000명 이상의 아티스트에 의해 채택되어 의료 지원부터 고급 요리 예술에 이르기까지 다양한 창의적 워크플로에 AI 생성 이미지를 통합하고 있습니다.
DALL·E 2 사전 학습 완화 조치
OpenAI는 데이터 필터링을 위한 능동 학습, 편향 증폭을 방지하기 위한 가중치 재조정 방식, 그리고 DALL·E 2에서 이미지 재생성을 제거하기 위한 클러스터링 기반 중복 제거 과정을 구현했습니다.
OpenAI 비디오 사전학습 (VPT) for Minecraft
OpenAI는 비디오 사전학습(VPT)이라는 반지도 학습 모방 학습 방법을 도입했으며, 이를 통해 인간 플레이의 방대한 라벨이 없는 비디오 데이터셋을 학습함으로써 에이전트가 Minecraft에서 복잡한 행동을 학습할 수 있게 되었습니다.
OpenAI 대형 모델을 통한 진화 (ELM) 연구
OpenAI는 대형 모델을 통한 진화(ELM)를 소개합니다. 이 방법은 LLM을 활용해 인간과 유사한 코드 변이를 근사함으로써 유전 프로그래밍을 개선하고 새로운 도메인에서 기능적인 프로그램을 생성합니다.
AI가 작성한 비평이 인간이 결함을 발견하도록 돕는다
OpenAI 연구는 AI가 생성한 비평이 인간 평가자가 요약문에서 훨씬 더 많은 결함을 식별하도록 돕는다는 것을 보여주며, 복잡한 AI 작업에 대한 인간 감독을 확장 가능한 방식으로 구현할 수 있음을 시사합니다.
대규모 신경망 훈련을 위한 OpenAI 기술
OpenAI는 대규모 AI 모델 훈련을 위해 GPU 클러스터를 조정하는 데 사용되는 주요 병렬 처리 전략—데이터, 파이프라인, 텐서, 그리고 전문가 병렬 처리—과 메모리 절감 기술을 개요합니다.
OpenAI, Cohere, 및 AI21 Labs 언어 모델 배포를 위한 모범 사례
OpenAI, Cohere, 및 AI21 Labs는 대형 언어 모델의 책임 있는 개발 및 배포를 위해 위험을 완화하고 오용을 방지하기 위한 초기 모범 사례를 공동으로 발표했습니다.
OpenAI 연구: 모델이 불확실성을 말로 표현하도록 가르치기
OpenAI 연구원들은 GPT-3가 모델 로짓에 의존하지 않고도 자연어로 답변에 대한 보정된 불확실성을 표현하도록 학습시킬 수 있음을 입증했습니다.
OpenAI Codex 애플리케이션 및 통합
OpenAI Codex는 GPT-3 기반의 자연어-코드 변환 시스템으로, GitHub Copilot을 포함한 70개 이상의 애플리케이션에 적용되어 영어 지시를 코드로 변환함으로써 개발자 생산성을 높입니다.
OpenAI DALL·E 2 연구 미리보기 업데이트
OpenAI는 300만 장 이상의 이미지를 생성한 제한된 연구 미리보기 이후, 대기자 명단에 있는 사용자에게 주당 1,000명씩 DALL·E 2 접근을 확대하고 있습니다.
OpenAI 리더십 팀 업데이트
OpenAI는 Greg Brockman, Brad Lightcap, Mira Murati, Chris Clark의 임원 역할 변화를 발표했으며, 이는 리더십을 회사의 성장 및 전략적 이정표에 맞추기 위한 것입니다.
AI 정렬에서 구드하트 법칙 측정
OpenAI는 AI 모델에서 프록시 목표를 최적화하면 실제 목표 성능이 감소하는 구드하트 법칙 현상이 발생할 수 있음을 탐구하고, 이를 분석하기 위한 방법으로 best-of-n 샘플링을 제안합니다.
CLIP 잠재 변수를 이용한 계층적 텍스트 조건 이미지 생성
OpenAI는 텍스트에서 CLIP 이미지 임베딩을 생성하는 프라이어와 해당 임베딩으로부터 이미지를 생성하는 디코더를 사용하는 2단계 생성 모델을 소개합니다. 이 모델은 다양성을 향상시키고 제로샷 이미지 조작을 가능하게 합니다.
GPT-3 및 Codex 편집 및 삽입 기능
OpenAI는 단순한 텍스트 완성을 넘어 기존 텍스트를 편집하고 문서 중간에 콘텐츠를 삽입할 수 있는 GPT-3 및 Codex의 새로운 버전을 출시했습니다.
OpenAI 경제 영향 연구 이니셔티브
OpenAI는 GPT-3, ChatGPT, DALL-E 2와 같은 대형 언어 모델의 경제적 영향을 연구하기 위해 연구자 및 기업으로부터 관심 표현을 요청하는 콜을 발표했습니다.
OpenAI 코드 생성 모델의 경제적 영향에 관한 연구 과제
OpenAI는 Codex와 같은 코드 생성 모델이 생산성, 고용, 경제적 불평등에 미치는 영향을 연구하여 배포, 시스템 설계, 공공 정책에 정보를 제공하기 위한 연구 과제를 제안했습니다.
OpenAI 언어 모델 안전 및 오용에 대한 교훈
OpenAI는 GPT-3와 Codex 배포 경험을 공유하며, 실제 오용이 이론적 위험과 다르게 나타나고 안전 연구가 상업적 유용성을 자주 향상시킨다는 점을 강조합니다.
OpenAI Formal Math Olympiad Problem Solving
OpenAI는 형식적 증명 보조 도구(formal proof assistants)를를 사용하여 AMC12, AIME, IMO와 같은 경시대회에서 출제된 형식적 수학 올림피아드 문제를 해결하는 모델의 능력을 입증했습니다.
OpenAI InstructGPT: 언어 모델을 지침 준수하도록 정렬하기
OpenAI는 GPT-3와 비교하여 사용자의 의도를 더 잘 따르고, 진실성을 높이며, 유해성을 줄이기 위해 인간 피드백 기반 강화 학습(RLHF)을 사용하여 학습된 모델 시리즈인 InstructGPT를 소개했습니다.
OpenAI 텍스트 및 코드 임베딩 출시
OpenAI는 의미론적 검색, 클러스터링, 코드 검색을 개선하기 위해 텍스트와 코드의 수치적 표현을 제공하는 GPT-3 파생 모델 기반의 새로운 임베딩 모델 세트를 출시했습니다.
OpenAI 대조 학습 사전 훈련을 통한 텍스트 및 코드 임베딩
OpenAI는 대규모 비지도 데이터에 대한 대조 학습 사전 훈련을 사용하여 고품질의 텍스트 및 코드 임베딩을 생성하는 방법을 개발했으며, 선형 프로브 분류 및 시맨틱 검색에서 최첨단 결과를 달성했습니다.
WebGPT: Web 브라우징을 통한 GPT-3 사실적 정확도 향상
OpenAI는 텍스트 기반 웹 브라우저를를 사용하여 정보를 조사하고 출처를 인용함으로써, 개방형 질문 답변 시 환각 현상을 줄이는 프로토타입인 WebGPT를 GPT-3를 미세 조정하여 개발했습니다.
애플리케이션을 위한 GPT-3 커스텀 설정
OpenAI는 GPT-3 미세 조정 기능을 출시하여, 개발자가 독점 데이터를 사용하여 모델을 훈련시켜 신뢰성을 높이고, 비용을 감소시키고, 지연 시간을 개선할 수 있도록 했습니다.
OpenAI Residency Program Announcement
OpenAI는 다른 분야의 연구원 및 엔지니어를 회사의 정규직 AI 역할로 전환할 수 있도록 설계된 6개월 유급 프로그램인 OpenAI Residency를 출시했습니다.
OpenAI API 접근: GPT-3 대기열 제거
OpenAI는 지원되는 국가의 개발자가 즉시 가입하여 실험을 시작할 수 있도록 GPT-3 API의 대기열을 제거했습니다.
OpenAI의 수학 문장제 문제 해결 및 GSM8K 데이터셋
OpenAI는 학습된 검증기를 사용하여 미세 조정된 GPT-3보다 거의 두 배 높은 정확도로 초등학교 수학 문장제 문제를 해결하는 시스템을 개발했으며, 9-12세 어린이의 60% 정확도에 비해 55%의 정확도를 달성했습니다.
OpenAI, 인간 피드백을 이용한 책 요약 (2021)
OpenAI는 인간 피드백으로부터의 강화 학습과 재귀적 작업 분해를 결합하여 전체 책의 요약을 생성하는 기술을 도입했으며, 이는 평가하기 어려운 작업에 대한 AI 감독의 정렬 문제를 해결합니다.
TruthfulQA: 모델이 인간의 거짓 정보를 어떻게 모방하는지 측정하기
OpenAI는 언어 모델이 38개 범주에 걸쳐 일반적인 인간의 오해와 거짓 정보를 모방하는지 측정하기 위해 설계된 벤치마크인 TruthfulQA를 도입합니다.
Helen Toner OpenAI 이사회 멤버로 합류
OpenAI는 안전하고 책임감 있는 AI 배포에 대한 약속을 강화하기 위해 2021년 9월 8일 AI 정책 및 글로벌 전략 전문가인 Helen Toner를 이사회 멤버로 임명했습니다.
OpenAI Codex: 코드 생성을 위한 GPT-3의 후손
OpenAI Codex는 자연어와 공개 소스 코드 수십억 줄을 모두 학습한 GPT-3의 후손으로, 영어 명령으로부터 작동하는 코드 생성을 가능하게 합니다.
OpenAI Triton 1.0 출시
OpenAI는 연구자들이 깊은 CUDA 전문 지식 없이도 매우 효율적인 GPU 커널을 작성할 수 있게 해주는 오픈 소스 Python 스타일 언어이자 컴파일러인 Triton 1.0을 출시했습니다.
코드로 학습된 대규모 언어 모델 평가: OpenAI Codex
OpenAI는 GitHub 코드로 미세 조정된 GPT 모델인 Codex를 소개합니다. Codex는 단일 시도에서 HumanEval 문제의 28.8%를 해결하며, 반복 샘플링을 사용하면 최대 70.2%까지 해결할 수 있습니다.
OpenAI 연구: 선별된 데이터셋 미세 조정을 통한 언어 모델 행동 개선
OpenAI 연구원들은 100개 미만의 소규모 선별 데이터셋으로 GPT-3를 미세 조정하는 것이 다운스트림 성능을 저해하지 않으면서 특정 행동 가치에 대한 모델의 준수성을 크게 향상시킬 수 있음을 발견했습니다.
OpenAI Scholars 2021: 최종 프로젝트
OpenAI는 2021 Scholars 프로그램의 최종 프로젝트를 발표했으며, 다양한 연구자 그룹으로부터 스케일링 법칙, 보상 모델링, 강화 학습에 대한 연구를 특징으로 합니다.
Will Hurd OpenAI 이사회 합류
OpenAI는 공공 정책 전문성을 기술적 AI 개발과 통합하기 위해 전 미국 하원의원 Will Hurd를 이사회 멤버로 임명했습니다.
GPT-3 API 생태계 및 애플리케이션 성장
OpenAI는 300개 이상의 애플리케이션과 수만 명의 개발자가 다양한 산업 분야에서 GPT-3를 사용하여 하루 평균 45억 개의 단어를 생성하고 있다고 보고합니다.
CLIP의 멀티모달 뉴런
OpenAI는 CLIP에서 literal, 상징적, 개념적으로 제시되든 동일한 개념에 반응하는 뉴런을 발견했으며, 이는 인간 뇌에서 발견되는 멀티모달 뉴런을 반영합니다.
대규모 언어 모델의 능력, 한계 및 사회적 영향 이해하기
OpenAI는 GPT-3 및 기타 대규모 언어 모델과 관련된 기술적 경계와 사회적 위험을 탐구하는 다학제적 워크숍을 요약합니다.
OpenAI가 7,500노드로 Kubernetes를 확장
OpenAI는 머신러닝 연구를 위한 간단하고 확장 가능한 인프라를 제공하기 위해 단일 Kubernetes 클러스터를 7,500노드로 확장했으며, 네트워킹, API 서버 부하, 모니터링의 과제를 극복했습니다.
CLIP: 텍스트와 이미지 연결하기
OpenAI는 다양한 데이터셋에 걸쳐 zero-shot 이미지 분류를 가능합니다하게 하기 위해 자연어 감독을 통해 시각적 개념을 적습학습하는 신경망인 CLIP을 도입했습니다.
DALL·E: 텍스트로 이미지 생성하기
OpenAI는 이미지와 텍스트를 단일 토큰 스트림으로 취급하여 텍스트 설명으로부터 다양한 이미지를 생성할 수 있는 120억 개의 파라미터를 가진 transformer 모델인 DALL·E를 소개했습니다.
OpenAI 조직 업데이트 2020년 12월
OpenAI는 안전과 제품 개발을 더 잘 통합하기 위해 연구 부사장 Dario Amodei의 퇴사 및 Mira Murati를 연구, 제품 및 파트너십 부문 수석 부사장으로 임명했음을 발표했습니다.
OpenAI가 Microsoft에 GPT-3 기술 라이선스를 제공합니다
OpenAI는 제3자 개발자를 위한 독립적인 API 액세스를 유지하면서, Microsoft 제품 및 서비스에 통합하기 위해 GPT-3 언어 모델 기술을 Microsoft에 라이선스했습니다.