OpenAIはインドの言語と文化向けにIndQAベンチマークを導入

OpenAIは、インドの言語における文化的にニュアンスのある質問についてAIモデルがどのように推論するかを評価するために設計されたベンチマークIndQAを導入しました。このツールは、既存の多言語ベンチマークの飽和状態と、インド人口の特定の文化的、歴史的、社会的文脈を捉える評価の不足に対処します。

IndQAフレームワークと範囲

IndQAは、12言語でネイティブに書かれた2,278問を使用して、10の文化ドメインにわたる知識と推論を評価します。多肢選択式ベンチマークとは異なり、IndQAはローカルコンテキストの深い理解を必要とする推論重視のタスクに焦点を当てます。

サポートされている言語とドメイン

ベンチマークには、コードスイッチングの一般的なパターンを考慮してHinglishも含む以下の言語が含まれます：

Bengali, English, Hindi, Hinglish, Kannada, Marathi, Odia, Telugu, Gujarati, Malayalam, Punjabi, and Tamil.

カバーされる10の文化ドメインは：

建築・デザイン
芸術・文化
日常生活
食べ物・料理
歴史
法と倫理
文学と言語学
メディア・エンターテイメント
宗教・スピリチュアリティ
スポーツ・レクリエーション

データ構造

IndQAセットの各データポイントは、4つのコンポーネントから構成されます：

文化的に根ざしたプロンプト: インドの言語で書かれた質問。
英語訳: 監査目的のために提供されます。
ルーブリック基準: エキスパートによって書かれた具体的な採点ガイドライン。
理想的な回答: エキスパートの知識に基づく期待される応答。

技術的方法論と構築

IndQAは、ジャーナリスト、言語学者、学者、アーティストを含む261人のドメインエキスパートによる協働プロセスを通じて開発されました。構築プロセスは、ベンチマークがフロンティアモデルにとって挑戦的な状態を保つように、厳格なパイプラインに従いました。

エキスパートによる執筆とレビュー

ネイティブレベルの話者と専門家は、特定の地域と専門分野に結びついた難易度の高い、推論に焦点を当てたプロンプトを作成しました。これらの回答は、最終承認前にピアレビューと反復的な修正を経ました。

アドバーサリアルフィルタリング

ベンチマークが飽和状態になるのを防ぐため、OpenAIはアドバーサリアルフィルタリングを適用しました。質問はGPT-4o、OpenAI o3、GPT-4.5、およびGPT-5に対してテストされました。これらのモデルの過半数が受け入れ可能な回答を生成できなかった質問のみが保持され、これによりベンチマークは今後の進歩のための余地を確保します。

ルーブリックベースの採点

単純なマッチングではなく、IndQAは重み付けルーブリックシステムを使用します。ドメインエキスパートは、理想的な回答に含めるべきか避けるべきかの基準を定義し、各基準にポイント値を割り当てます。その後、モデルベースの採点者は、満たされた基準ポイントの合計に基づいて最終スコアを計算します。

パフォーマンス追跡と制限事項

OpenAIは、時間の経過とともにモデルの進歩を追跡するためにIndQAを使用します。ラボは、OpenAIモデルがインドの言語において大幅に改善されていることを指摘していますが、改善の余地がまだ大きいことを認めています。

主な注意点

言語リーダーボードではない: 質問はすべての言語で同一ではないため、IndQAは能力の直接的なクロス言語比較には使用できません。特定のモデルファミリーまたは構成内での時間経過に伴う改善を測定することを意図しています。
アドバーサリアルバイアス: 質問選択プロセスがOpenAIモデルが回答できる質問を特別に除外するため、ベンチマークはそれらのモデルに対してアドバーサリアルとなります。これにより、非OpenAIモデルと比較したときにOpenAIモデルが不利になる可能性があります。

戦略的含意

IndQAは、他の代表されていない言語と文化ドメイン向けの類似のベンチマークを作成するためのブループリントとして機能します。翻訳ベースのタスクや多肢選択式の質問を超えることにより、IndQAはAI研究ラボが文化的推論と言語のニュアンスにおける特定の失敗を特定し解決するための「north star」を提供することを目指しています。