OpenAI Scholars 2021: 최종 프로젝트

OpenAI는 2021 Scholars 프로그램의 최종 프로젝트를 발표했으며, 스케일링 법칙, 모델 아키텍처, AI 시스템의 정렬에 중점을 둔 다양한 연구 이니셔티브를 선보였습니다. 이 프로그램은 대표성이 낮은 집단의 개인에게 연구 경험을 제공하여 딥러닝의 최전선에 기여할 수 있도록 하는 것을 목표로 합니다.

스케일링 법칙과 언어 전이

Christina Kim의 연구는 다양한 언어에 대한 전이 학습에서 영어 사전 훈련의 효능을 탐구합니다. 연구 결과, 영어 사전 훈련 모델은 독일어를 배울 때 가장 큰 이점을 제공하며, 그다음으로, 그다음은 스페인어, 그다음은 중국어 순이었습니다. 또한, 영어에서 이 세 언어로의 전이는 컴퓨팅, 데이터, 매개변수 측면에서 예측 가능한 방식으로 확장됩니다.

보상 모델링과 피드백 루프

AI 모델이 인간 가치와 데이터 생태계와 어떻게 상호작용하는지에 대한 연구는 여러 학자의 주요 초점이었습니다:

• 대규모 보상 모델링: Jonathan Ward는 인간 피드백으로 일반적으로 훈련되는 보상 모델이 웹사이트에서 추출한 대규모 구조화된 피드백을 사용하여 훈련될 수 있음을 보여주었습니다.
• 의견 모델링: Danielle Ensign은 딥러닝 모델이 의견 생태계에 미치는 영향과 이전 모델의 출력에 대한 반복 훈련의 효과(피드백 루프)를 조사했습니다.

모델 아키텍처와 표현 학습

여러 프로젝트는 다양한 AI 아키텍처의 기술적 제약 조건과 성능에 초점을 맞췄습니다:

• 대조 학습: Ellie Kitanidis는 순수하게 대조적인 목표를 사용하여 언어 표현 모델을 사전 훈련하여 전통적인 언어 모델링 목표와 비교하여 일반화 가능성과 확장성을 연구했습니다. Legg Yeung은 "SET" 카드 게임을 사용하여 벡터 표현 차원과 작업 구성 간의 관계를 조사했으며, X개의 매개변수를 가진 비대조 모델이 2X+ 매개변수를 가진 대조 모델이 풀 수 없는 게임을 풀 수 있음을 발견했습니다.
• 트랜스포머 변형: Shola Oyedele은 다양한 트랜스포머 아키텍처 변형의 스케일링 법칙을 연구하여 아키텍처가 훈련 비용과 모델 성능 사이의 trade-off에 미치는 영향을 이해하려고 했습니다.
• 토큰화: Sam Gbafa는 다양한 언어 토큰화 방식의 trade-off와 스케일을 탐구했으며, 사전 정의된 것이 아닌 시퀀스의 세그먼테이션을 학습하는 접근 방식도 포함했습니다.

강화 학습과 컴퓨팅 효율성

이 제어 및 컴퓨팅 도메인의 프로젝트에서는 복잡한 행동을 모델링하고 리소스 사용을 최적화하는 방법을 탐구했습니다:

• 연속 제어: Florentine (Tyna) Eloundou는 "다중 전문가, 다중 목표"(MEMO) 접근 방식을 개발했습니다. 이 방법은 서로 다른 목표를 가진 여러 전문가의 성공 사례에서 단일 조건 정책을 학습할 수 있게 하며, 이 정책은 감독자가 재량에 따라 조정할 수 있습니다.
• 테스트 타임 컴퓨팅: Kudzo Ahegbebu는 자기회귀 트랜스포머, 깊은 평형 모델, 그래프 신경망에서 테스트 타임 컴퓨팅을 활용하는 모델의 일반화 가능성을 탐구했습니다. 연구에서는 작은 적응형 모델이 테스트 타임 컴퓨팅을 사용하여 학습 가능한 매개변수 수가 적은 것의 한계를 극복할 수 있는지 조사했습니다.

학자 인사이트: 딥러닝 연구

2021 Scholars는 AI 연구에 입문하는 사람들에게 다음과 같은 주요 조언을 공유했습니다:

"딥러닝 연구를 시작하는 사람에게 내 조언은 기본 논문의 통찰을 이해하는 데 시간을 할애하고, 이 분야가 여전히 비교적 새로움을 기억하는 것입니다. 개인에게 큰 영향을 미칠 수 있는 여지가 많이 있습니다."

"가능하다면, 2019 fast.ai 코스(파트 1과 2), Andrew Ng의 Coursera 딥러닝 코스, David Silver의 RL 코스, 그리고 Deep RL에서 Spinning Up을 몇 달 동안 주의 깊게 공부하는 것을 추천합니다... pytorch로 몇 편의 논문을 처음부터 구현해 보세요."

"생각할 수 있는 가장 간단하면서도 흥미로운 아이디어를 찾아 그것을 구현해 보세요!"

"잘 알려진 알고리즘의 깨끗한 오픈소스 구현을 천천히 살펴보며 그 이론적 배경을 읽는 것을 추천합니다."}