OpenAI GPT-5.6 출시: 성능 벤치마크 및 개발자 가이드라인
OpenAI GPT-5.6 출시: 성능 벤치마크 및 개발자 가이드라인
OpenAI는 프론티어 모델의 새로운 반복 버전인 GPT-5.6을 출시했습니다. 이번 출시에는 서로 다른 성능 및 효율성 계층을 위해 설계된 Sol, Terra, Luna 등 여러 모델 변형이 포함됩니다. GPT-5.6 Sol은 ARC-AGI-3 벤치마크에서 7.8%라는 새로운 SOTA(state-of-the-art) 점수를 기록하며, ARC-AGI-3 게임을 성공적으로 이긴 최초의 검증된 프론티어 모델이 되었습니다.
GPT-5.6 개발자 가이드라인
GPT-5.6은 모델이 프롬프팅 및 이미지 처리 방식에 반응하는 방식에 변화를 도입했습니다. 공식 개발자 가이드에 따르면, 사용자는 성능을 극대화하기 위해 다음과 같은 전략을 채택해야 합니다:
- 더 짧은 프롬프트 사용: 내부 평가 결과, 길고 명시적인 시스템 프롬프트를 최소한의 프롬프트로 교체하면 점수가 약 10–15% 향상되는 반면, 총 토큰 사용량은 41–66% 감소하고 비용은 33–67% 절감됩니다.
- 의도 이해 정교화: GPT-5.6은 모든 단계를 명시적으로 지정하지 않아도 사용자의 근본적인 목표와 의도된 작업 수준을 추론하는 능력이 더 뛰어납니다. 그러나 개발자는 여전히 중요한 제약 조건, 성공 기준 및 승인 범위를 명시적으로 명시해야 합니다.
- 이미지 세부 정보 최적화: 이제 모델은 픽셀 차원 제한이나 패치 예산에 맞춰 크기를 조정하는 대신, "original" 또는 "auto" 세부 정보 설정으로 전송된 이미지의 원래 차원을 유지합니다.
- 일반적인 간결함 지침 피하기: GPT-5.6은 GPT-5.5와 비교했을 때 'Be concise' 또는 'Keep it short'와 같은 지침에 더 민감합니다.
- 온도(Warmth) 조절: 모델에게 광범위하게 더 친절하거나 공감 능력이 있게 하라고 프롬프팅하는 것은 의미 있는 성능 향상을을 가져오지 않습니다.
모델 성능 및 벤치마크
GPT-5.6 Sol은 이번 출시에서 고성능 프론티어 모델로 자리매김하고 있습니다. GeneBench 및 LifeSciBench 비교에서 Fable과 같은 경쟁 모델인 Fable을 상대로 상당한 격차를 보여주었지만, 일부 사용자는 Fable이 해당 평가에서 질문의 대부분을 거부했기 때문에 특정 비교에서 제외되었다고 언급했습니다.
실제 코딩 테스트에서 초기 사용자 피드백은 엇갈리고 있습니다. 모델의 장난감 RTS 게임 제작 능력을 테스트한 한 개발자는 GPT-5.6 Terra가 GPT-5.5와 성능이 비슷하고 Sonnet 5보다 약간 뒤처진다는 것을 발견했습니다.
커뮤니티 논의 및 모델 선택
사용자들은 Sol, Terra, Luna 모델의 명명 규칙에 대해 혼란을 표현했습니다. 특정 사용 사례, 가격 및 효율성에 따라 각 변형을 언제 사용할지에 대한 더 명확한 가이드가 필요하다는 요구가 있습니다.
일부 커뮤니티 구성원들은 OpenAI의 토큰 효율성 접근 방식을 Anthropic의 방식과 비교하며, "token-max" 방식보다는 비용과 토큰 사용량을 줄이는 데 집중하는 OpenAI의 방식에 대해 선호도를 나타냈습니다. 다른 이들은 벤치마크 결과가 얼마나 선택적으로 채택되었는지, 특히 Fable에 비해 5.6 Sol의 우월성에 대해 회의적인 시각을 있습니다.
Sources
- HNGPT-5.6