GPT-5.6, 30년 된 볼록 최적화 문제 해결

GPT-5.6, 볼록 최적화 분야의 30년 격차를 메우다

OpenAI의 GPT-5.6은 볼록하고 Lipschitz 함수에 대한 최적화 문제를 해결하는 시간 복잡도와 관련된, 볼록 최적화 분야의 오랜 추측에 대한 증명을 제공하는 데 사용되었습니다. 이 결과는 시간 복잡도의 하한(lower bound)을 설정하여, 이러한 문제를 해결하는 데 $\Omega(d^2)$의 함수 평가가 필요함을 증명함으로써 기존 30년 된 알고리즘의 복잡도와 일치함을 보여주었다는 점에서 매우 중요합니다.

증명의 기술적 분석

증명은 구형 도메인(spherical domain)에서의 볼록하고 Lipschitz 함수에 대한 최적화의 시간 복잡도 하한에 초점을 맞춥니다. 상한(upper bound)을 보여주는 것은 일반적으로 간단하지만(알려진 알고리즘의 실행 시간과 같기 때문), 하한을 증명하는 것은 가능한 모든 알고리즘을 제한해야 하므로 훨씬 더 어렵습니다.

주요 기술적 측면은 다음과 같습니다:

• 도메인: 문제는 구형 도메인으로 제한되어 있지만, 전문가들은 변수를 임의의 유계 도메인(bounded domain)으로 변경할 수 있으므로 이것이 큰 제약은 아니라고 언급합니다.
• 복잡도: 증명은 필요한 최소 함수 평가 횟수가 $\Omega(d^2)$임을 보여줍니다.
• 시사점: 만약 그래디언트 오라클(gradient oracle)을 사용할 수 있다면, 그래디언트가 $d$번의 함수 평가로 근사될 수 있으므로 $d$가 최소 평가 횟수가 될 것임을 시사합니다.

인간의 전문 지식과 프롬프팅의 역할

AI가 자율적으로 문제를 해결했다는 생각과는 달리, 이 결과는 정교한 프롬프팅 과정을 통해 달성되었습니다. 증명을 얻기 위해 사용된 프롬프트는 모델을 올바른 방향으로 유도하기 위해 설계된 약 10페이지 분량의 고급 수학 내용으로 구성되었습니다. 이 유도 과정은 1년 동안의 사전 인간 연구를 바탕으로 이루어졌습니다.

비평가들과 관찰자들은 이것이 단순히