OpenAI Scholars 2020 최종 프로젝트

OpenAI는 2020 Scholars 프로그램의 최종 프로젝트를 발표했으며, 대규모 언어 모델의 해석 가능성에서 신경과학에서의 딥러닝 적용에 이르기까지 다양한 연구 이니셔티브를 선보였습니다. 이러한 프로젝트는 크레딧 할당, 사회적 학습, 적대적 강건성과 같은 복잡한 문제를 해결하기 위해 AI를 적용하는 것을 보여줍니다.

신경망 해석 가능성과 언어 모델

2020 코호트의 연구는 모델이 정보를 어떻게 표현하고 적대적 입력을 통해 어떻게 조작될 수 있는지에 중점을 두었습니다.

GPT-2에서의 문법적 표현

Alethea Power는 GPT-2가 영어 문법을 어떻게 표현하는지 조사하여 특정 문법 구조에 해당하는 것으로 보이는 작은 서브네트워크를 식별했습니다. 이 연구는 네트워크 효율성을 향상시키고 모델 행동 및 인간 인지에 대한 통찰을 제공하는 것을 목표로 합니다.

보편적 적대적 교란

Pamela Mishkin은 언어 모델의 맥락에서 보편적 적대적 예시를 탐구했습니다. 이 연구는 GPT-2에 대한 보편적 적대적 트리거를 생성하기 위해 결과를 복제하고, 자연어 추론(NLI) 모델을 공격하여 생성 모델의 취약성을 더 잘 이해하는 것을 포함했습니다.

강화 학습(RL)과 에이전트 행동

여러 프로젝트는 보상 희소성, 다중 에이전트 상호작용, 모델 정량화와 같은 RL의 근본적인 과제를 다루었습니다.

시간적 보상 수송(TRT)

Cathy Yeh는 장기 크레딧 할당 문제—희소한 보상과 행동과 효과 사이의 긴 지연이 샘플 효율성을 저해하는 문제—를 해결했습니다. 주의 메커니즘을 사용하여 중요한 상태-행동 쌍을 식별하고 "시간적 보상 수송"을 통해 먼 미래의 보상으로 이를 보강함으로써, Yeh는 표준 어드밴티지 액터-크리틱 알고리즘을 사용한 그리드월드 실험에서 학습이 향상됨을 보여주었습니다.

다중 에이전트 RL에서의 사회적 학습

Kamal Ndousse는 공유 환경에서 독립적인 RL 에이전트 간의 전문 지식의 사회적 전이를 연구했습니다. 이 프로젝트는 초보자 에이전트가 전문가 에이전트의 행동을 모방하여 어려운 탐색 작업을 해결할 수 있는지 조사했으며, 이들은 고립 상태에서는 이를 마스터하지 못했습니다.

Coinrun에서의 해석 가능성 정량화

Jorge Orbay는 Procgen의 Coinrun에서 훈련된 A2C 모델의 해석 가능성을 측정하기 위한 스칼라 메트릭을 개발했습니다. 이 메트릭은 모델 어트리뷰션과 Coinrun의 자산 마스크를 결합하여 다양성 가설의 타당성을 테스트하기 위해 만들어졌습니다.

적용된 AI와 의미 분석

이론적 RL과 해석 가능성을 넘어, 프로그램은 실용적인 인터페이스 번역과 의료 진단에 대한 작업을 생산했습니다.

영어-그래프QL 의미 분석

Andre Carerra는 영어 프롬프트(예: "우리 직원은 몇 명인가요?"를 해당 그래프QL 쿼리로 번역하는 의미 분석 시스템을 개발했습니다. 이 프로젝트는 맞춤형 데이터셋 생성, 모델 훈련, 그리고 결과 검증을 위한 상호작용 도구 제작을 포함했습니다.

간질 발작 예측

Kata Slama는 딥러닝을 뇌 기록에 적용하여 간질 발작을 예측했습니다. 뇌 데이터의 스펙트로그램 표현을 사용하여 문제를 이미지 분류 작업으로 프레이밍함으로써, Slama는 이 응용 프로그램에 가장 성공적인 모델로 ResNet18을 식별했습니다.