xlang-ai/Spider2

何を解決するか

Spider 2.0 は、大規模な企業レベルのテキストからSQLへのワークフローを評価するためのベンチマークです。過去のベンチマークとは異なり、3,000列を超える複雑なデータ環境を対象とし、BigQuery や Snowflake などの複数のSQL方言に対応する能力を要求します。

仕組み

このプロジェクトは、異なる能力をテストするための3つの評価設定を提供しています。

• Spider 2.0-Snow：Snowflake データベースを使用したテキストからSQLへのタスク。
• Spider 2.0-Lite：BigQuery、Snowflake、SQLite をカバーするテキストからSQLへのタスク。
• Spider 2.0-DBT：DuckDB（DBT）を使用したコードエージェントタスクで、リポジトリレベルのテキストからSQLタスクに焦点を当てます。

ベンチマークの促進のために、「Spider-Agent」フレームワークが提供されており、Docker またはより高速なツールコールベースのバージョンで実装可能です。

対象ユーザー

主に、コード生成向けのLLMの開発や評価に取り組むAI研究者や開発者向けです。特に、複雑なデータベース操作や企業向けSQLワークフローに注力している方々に適しています。

特徴

• 企業規模：数千列を持つ巨大なスキーマでモデルをテスト。
• マルチ方言対応：BigQuery、Snowflake、SQLite をカバー。
• 多様なタスクタイプ：標準的なテキストからSQLのタスクと、エージェントによるコード生成タスク（DBT）を含む。
• 現実世界の複雑さ：Spider 1.0 や BIRD といった過去のベンチマークよりもはるかに困難に設計されています。