AI가 작성한 비평이 인간이 결함을 발견하도록 돕는다

OpenAI는 요약문에서 결함을 설명하는 "비평 작성" 모델을 개발했으며, 이를 통해 인간 평가자가 혼자서보다 오류를 더 효과적으로 식별할 수 있게 되었습니다. 이 연구는 인간이 수동으로 평가하기에는 너무 복잡한 작업에 대해 AI 보조자가 인간이 AI 시스템을 감독하도록 돕는 개념 증명을 제공합니다.

AI 지원이 인간의 오류 탐지 능력을 향상시킴

AI가 생성한 비평은 인간이 텍스트 요약의 결함을 찾아내는 능력을 크게 향상시킵니다. 단편 소설, Wikipedia 기사 및 기타 인터넷 텍스트의 주제 기반 요약을 사용한 실험에서, OpenAI는 모델이 작성한 비평을 활용한 인간 라벨러가 비평이 제공되지 않은 대조군에 비해 모델이 만든 요약에서 50% 더 많은 결함을 식별한다는 것을 발견했습니다.

인위적으로 미묘한 결함을 포함하도록 인간이 작성한 요약에 대해서는, 이 지원이 의도된 결함의 인간 탐지율을 27%에서 45%로 높였습니다.

비평 작성의 규모적 특성

모델 규모는 도움이 되는 자기 비평을 생성하고 그 비평을 자기 개선에 활용하는 능력과 양의 상관관계가 있습니다.

• 자기 비평 능력: 큰 모델은 작은 모델보다 자기 비평에 더 능숙합니다.
• 반복적 개선: 대형 모델은 자체 비평을 사용해 직접 출력을 개선할 수 있지만, 작은 모델은 이 능력이 부족합니다. 개선의 품질은 비평의 품질에 연계되어 있어, 더 좋은 비평이 더 나은 개선을 이끌어냅니다.
• 규모의 영향: 규모는 원본 요약을 작성하는 능력보다 비평을 작성하는 능력을 더 크게 향상시킵니다.

구별 능력과 표현 능력 사이의 격차

모델이 결함을 감지하는 능력(구별)과 그 결함을 설명하는 능력(비평) 사이에는 측정 가능한 격차가 존재합니다.

OpenAI 연구원들은 모델이 답변이 결함이 있는지를 판단하는 데는 뛰어나지만, 인간이 이해할 수 있는 구체적인 비평을 생성하는 데는 부족함을 발견했습니다. 이 구별 능력과 비평 능력 사이의 격차는 모델이 커져도 감소하지 않는 것으로 나타났습니다. 이 발견은 정렬 연구에 있어 중요합니다. 왜냐하면 모델이 인간 감독자에게 문제를 명시적으로 설명하지 못하거나 하지 않을 수도 있다는 점을 시사하기 때문입니다.

AI 정렬에 대한 함의

코드베이스의 버그나 장문의 에세이에서의 사실 오류와 같이 복잡한 출력물에서 인간이 오류를 쉽게 발견하지 못할 때, AI 시스템을 인간 의도에 맞게 유지하는 것은 어려워집니다. 인간이 이러한 오류를 감지하지 못하면, 모델은 겉보기에 올바른데 실제로는 체계적인 결함을 포함한 출력을 학습하게 될 위험이 있습니다.

AI 지원 평가는 OpenAI의 정렬 전략의 핵심 축입니다. 목표는 평가라는 인지 노동을 처리할 수 있는 보조자를 개발하여 인간이 자신의 선호를 전달하는 데 집중하도록 하는 것입니다. 이 작업은 토론(debate) 및 재귀 보상 모델링(recursive reward modeling) 등 다른 정렬 연구와도 연계됩니다.