OpenAI가 인도 언어 및 문화를 위한 IndQA 벤치마크를 소개합니다

OpenAI가 인도 언어에서의 문화적으로 미묘한 질문에 대해 AI 모델이 어떻게 추론하는지를 평가하기 위해 설계된 IndQA 벤치마크를 도입했습니다. 이 도구는 기존 다언어 벤치마크의 포화 상태와 인도 인구의 특정 문화적, 역사적, 사회적 맥락을 포착하는 평가의 부족 문제를 해결합니다.

IndQA 프레임워크 및 범위

IndQA는 12개 언어로 원본으로 작성된 2,278개의 질문을 사용하여 10개의 문화 도메인에 걸친 지식과 추론을 평가합니다. 다중 선택 벤치마크와 달리, IndQA는 현지 맥락을 깊이 이해해야 하는 추론 집중형 작업에 초점을 맞춥니다.

지원 언어 및 도메인

이 벤치마크는 일반적인 코드 스위칭 패턴을 고려하여 Hinglish를 포함하는 다음과 같은 언어를 포함합니다:

Bengali, English, Hindi, Hinglish, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi, and Tamil.

포함된 10개의 문화 도메인은 다음과 같습니다:

건축 및 디자인
예술 및 문화
일상 생활
음식 및 요리
역사
법 및 윤리
문학 및 언어학
미디어 및 엔터테인먼트
종교 및 영성
스포츠 및 레크리에이션

데이터 구조

IndQA 세트의 각 데이터 포인트는 네 가지 구성 요소로 이루어집니다:

문화적으로 근거가 있는 프롬프트: 인도 언어로 작성된 질문.
영어 번역: 감사 가능성을 위해 제공됩니다.
루브릭 기준: 전문가가 작성한 구체적인 채점 지침.
이상적인 답변: 전문 지식을 기반으로 한 예상 응답.

기술 방법론 및 구축

IndQA는 기자, 언어학자, 학자, 예술가를 포함한 261명의 도메인 전문가가 참여하는 협력 과정을 통해 개발되었습니다. 구축 과정은 frontier 모델에 대해 도전적인 상태를 유지하도록 엄격한 파이프라인을 따랐습니다.

전문가 작성 및 검토

원어민 수준의 사용자와 주제별 전문가들은 특정 지역과 전문 분야와 연결된 어려운 추론 중심 프롬프트를 작성했습니다. 이러한 응답은 최종 승인 전에 동료 검토와 반복적인 수정을 거쳤습니다.

적대적 필터링

벤치마크가 포화 상태가 되는 것을 방지하기 위해 OpenAI는 적대적 필터링을 적용했습니다. 질문들은 GPT-4o, OpenAI o3, GPT-4.5, 그리고 GPT-5에 대해 테스트되었습니다. 이들 모델 중 다수가 허용 가능한 답변을 생성하지 못한 질문만 유지되어, 향후 발전을 위한 여지를 제공하는 벤치마크를 보장합니다.

루브릭 기반 채점

단순 매칭 대신, IndQA는 가중치가 있는 루브릭 시스템을 사용합니다. 도메인 전문가들은 이상적인 답변에 포함되어야 하거나 피해야 할 기준을 정의하고, 각 기준에 점수 값을 할당합니다. 그런 다음 모델 기반 채점기가 만족된 기준 점수의 합을 기반으로 최종 점수를 계산합니다.

성능 추적 및 제한

OpenAI는 시간이 지남에 따라 모델의 진척을 추적하기 위해 IndQA를 사용합니다. 연구소는 OpenAI 모델이 인도 언어에서 크게 향상되었다고 언급하지만, 개선의 여지가 여전히 상당하다고 인정합니다.

주요 주의 사항

언어 리더보드가 아님: 모든 언어에서 질문이 동일하지 않기 때문에, IndQA는 능력의 직접적인 교차 언어 비교에 사용할 수 없습니다. 특정 모델 가족 또는 구성 내에서 시간에 따른 개선을 측정하기 위해 의도되었습니다.
적대적 편향: 질문 선택 과정에서 OpenAI 모델이 답변할 수 있는 질문을 특별히 걸러냈기 때문에, 이 벤치마크는 해당 모델에 대해 적대적입니다. 이는 비-OpenAI 모델과 비교할 때 OpenAI 모델에 불리하게 작용할 수 있습니다.

전략적 함의

IndQA는 충분히 대표되지 않은 다른 언어와 문화 도메인에서 유사한 벤치마크를 만들기 위한 청사진 역할을 합니다. 번역 기반 작업과 다중 선택 질문을 넘어가면서, IndQA는 AI 연구소가 문화적 추론과 언어적 미묘함에서의 특정 실패를 식별하고 해결할 수 있는 '북쪽 별'을 제공하고자 합니다.