OpenAI Neural GPU: 확장 및 한계

OpenAI는 다자리 이진 덧셈과 이진 곱셈과 같은 알고리즘을 학습할 수 있으며 임의의 길이 입력을 일반화하는 Neural GPU 모델을 향상시켰습니다. 신중한 교육 과정 구현과 모델 크기 증대를 통해 연구원들은 Neural GPU가 이제 십진 표현을 사용하는 산술 연산을 포함하여 더 넓은 범위의 알고리즘 문제를 해결할 수 있음을 발견했습니다.

교육 과정 및 모델 크기를 통한 성능 향상

Neural GPU가 복잡한 알고리즘을 학습하는 능력은 일반화입니다. 연구원들은 성능을 향상시키는 두 가지 주요 방법을 확인했습니다:

• 교육 과정 학습: 신중하게 설계된 교육 과정은 모델이 작업을 더 효과적으로 학습하도록 허용합니다.
• 증가된 모델 크기: 모델 크기를 늘리면 더 많은 알고리즘 문제를 해결하는 능력이 향상됩니다. 그러나 이는 메모리 효율적인 구현이 필요하며, Neural GPU의 순진한 구현은 메모리를 많이 소모합니다.

확장된 알고리즘 기능

이러한 개선으로 Neural GPU Neural GPU는 이제 다음 작업을 수행할 수 있습니다:

• 십진 산술: 모델은 이제 인수가 십진 표현으로 주어질 때 모든 산술 연산을 수행하고 임의의 길이 숫자에 일반화할 수 있습니다. 이는 이전에는 불가능했습니다.
• 산술 표현: The The Neural GPU는 피연산자의 우선순위를 존중해야 하는 여러 피연산을 가진 긴 산술 표현을 평가하도록 훈련될 수 있습니다. 이러한 작업은 이진 표현에서만 성공했으며 완벽한 정확도를 달성하지 못했습니다.

실패 모드 및 적대적 유사 행동

긴 숫자에 대해 거의 완벽한 일반화를 달성했음에도 불구하고, Neural GPU는 비정형적이고 고도로 대칭적인 입력에서 특정 실패 모드를 여전히 보입니다. 이러한 실패 모드는 적대적 예와 유사합니다. 예를 들어, 2x2를 성공적으로 곱할 수 있는 Neural GPU는 000000…002 x 000000…002에 대한 올바른 답을 계산하지 못하지만, 100자리 길이 숫자까지의 십진 곱셈에 성공적으로 훈련되었습니다.