OpenAI, 저리소스 프로그래밍 언어에서 코딩 역량 강화

최신 모델 개선을 통해 COBOL, Fortran, Visual Basic과 같은 저리소스 프로그래밍 언어로 작성된 소프트웨어를 구축하고 마이그레이션하는 데 더 강력한 역량을 제공합니다. 이러한 언어는 전 세계 핵심 인프라를 지원합니다. 예를 들어, COBOL은 온라인 뱅킹 시스템의 40% 이상을 지원합니다. 하지만 이러한 언어는 Python이나 JavaScript와 같은 언어에 비해 모델이 학습할 수 있는 코드와 문서가 부족합니다.

이 작업은 문서가 불완전하고 비즈니스 규칙이 종종 코드에만 존재하는 이러한 언어로 소프트웨어를 유지 관리하고 현대화할 때 개발자가 직면하는 어려움을 해결합니다. 모델은 기존 코딩 모델이 이러한 특정 언어에서 어려움을 겪는다고 지적한 개발자 및 엔터프라이즈 고객의 피드백에 따라 안내되었습니다.

진전 상황을 측정하기 위해 OpenAI는 두 가지 보완 평가를 개발했습니다: 새 소프트웨어를 구축하는 능력을 테스트하는 MultiLangBench와 기존 소프트웨어 동작을 보존하는 능력을 테스트하는 COBOL 마이그레이션 평가입니다.

MultiLangBench: 언어 간 소프트웨어 구축

MultiLangBench는 모델이 지정된 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 구축하도록 요구합니다. 이 평가는 코드베이스 구성, 상태 관리, 오류 처리, 기존 기능을 유지하면서 새 기능 추가 능력을 평가합니다.

언어 간 일관된 테스트를 보장하기 위해 평가는 공유 인터페이스로 데이터베이스 파일을 사용합니다. 후보 프로그램은 초기 데이터베이스와 SQL 쿼리를 받아 수정된 데이터베이스를 생성하며, 이는 참조 SQLite 구현과 대조됩니다.

GPT-6 Astra 성능

최대 추론 노력에서 GPT-6 Astra는 20개 프로그래밍 언어에서 평균 테스트 통과율 87.4%를 달성했으며, 이는 GPT-5.6 Sol이 달성한 26.8%에서 크게 증가한 수치입니다. COBOL(10.9%에서 72.1%로), OCaml(25.6%에서 85.8%로), Fortran(21.4%에서 83.5%로), Visual Basic(27.5%에서 89.4%로)을 포함한 모든 테스트 언어에서 개선이 관찰되었습니다. Astra는 20개 언어 중 19개에서 83% 이상을 기록했으며, COBOL은 72%로 가장 어려운 언어로 남아 있습니다.

비용 효율적인 옵션: GPT-6 Luna

GPT-6 Luna는 테스트된 모든 언어에서 GPT-5.6 Sol을 능가하는 저비용 옵션을 제공합니다. 최대 추론 노력에서 평균 테스트 통과율 40.3%에 도달했습니다. 이러한 이점은 샘플당 평균 API 비용 약 $0.77로 추정되며, 이는 GPT-5.6 Sol의 $3.48 비용보다 약 78% 낮은 수치입니다.

COBOL 마이그레이션 평가: 비즈니스 로직 보존

두 번째 평가는 모델이 기존 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust와 같은 현대 언어로 마이그레이션하면서 프로그램의 원래 기능을 엄격히 보존하도록 도전합니다. 성공적인 마이그레이션은 모델이 프로그램의 비즈니스 로직과 COBOL의 특정 언어 동작을 모두 이해해야 합니다.

예를 들어, COBOL 프로그램은 반올림 규칙과 같은 세부 사항이 중요한 금융 거래를 자주 처리합니다. 예를 들어, COBOL의 고정 소수점 산술은 명시적으로 반올림을 요청하지 않는 한 초과 소수 자릿수를 버립니다. 평가는 모델이 관찰 가능한 출력에서 바이트 단위 일치를 요구하는 숨겨진 테스트를 사용하여 이러한 동작을 보존하는지 테스트합니다.

마이그레이션 정확도 및 비용

이 마이그레이션 평가에서 GPT-6.1 Sol은 낮은 추론 노력에서 86.6%의 정확도를 달성했으며, 동일한 설정에서 GPT-5.6 Sol의 5.4%에 비해 61% 더 낮은 비용으로 달성했습니다. 추론 노력을 증가시켰을 때 정확도는 97.9%에 도달하여 평가가 거의 포화 상태에 가까워졌습니다. 이러한 결과는 레거시 시스템을 현대화하는 기업을 위한 더 정확하고 저렴한 코드 마이그레이션을 향한 상당한 진전을 보여줍니다.

엔터프라이즈 소프트웨어 개발에 대한 시사점

이러한 평가와 엔터프라이즈 고객의 직접적인 피드백을 결합하면 모델이 더 넓은 범위의 언어에서 소프트웨어 엔지니어링 기술을 적용하는 데 훨씬 더 우수해지고 있음을 보여줍니다. 전반적인 목표는 모델이 익숙하지 않은 저장소 이해, 변경 계획, 빌드 도구 활용, 테스트 실행, 디버깅 실패 처리와 같은 작업을 처리할 수 있게 하는 것입니다.

개발자는 GitHub에서 MultiLangBench 평가 설정과 테스트 스위트에 액세스하여 평가 기준을 검토하고 특정 언어에서의 성능을 확인할 수 있습니다. 사용자는 모델 성능에 대한 피드백을 제공하여 향후 교육 및 평가 노력을 형성하는 데 도움을 주는 것이 권장됩니다.

SUMMARY: OpenAI의 최신 모델은 COBOL 및 Fortran과 같은 저리소스 프로그래밍 언어에서 코딩 및 마이그레이션 역량을 크게 향상시켜 팀이 전 세계 핵심 인프라를 유지 관리하는 데 도움을 줍니다.

TITLE: OpenAI, 저리소스 프로그래밍 언어에서 코딩 역량 강화