stanford-oval/suql

What it solves

SUQLは、構造化（リレーショナル）データと非構造化（フリーテキスト）情報の両方を含むハイブリッドデータソースへのクエリ実行という課題に対処します。従来のSQLは構造化データには効果的ですが、フリーテキスト検索を扱うことができません。SUQLは、SQLにフリーテキストのプリミティブを追加することで拡張し、ハイブリッドデータベースに対するクエリを正確かつ簡潔に表現することを可能にします。

How it works

SUQLは、検索モデル、大規模言語モデル（LLM）、および従来のSQLを統合します。非構造化データには検索モデルとLLMを使用し、構造化データにはリレーショナルSQLを使用します。重要なコンポーネントはanswer関数であり、これによりユーザーはフリーテキストの制約と構造化された制約を組み合わせることができます。大規模なデータを扱うために、スケーラビリティのためにPostgreSQLを使用し、HNSWやproduct quantizerのような高密度ベクトル処理手法を用いてフリーテキストフィールドをインデックス化するためにFAISSを使用します。

Who it’s for

構造化された評価と構造化されたレビューの両方を含むレストランデータベースのように、ハイブリッドデータソースにアクセスする必要がある対話型エージェントやチャットボットを構築している開発者。

Highlights

• Hybrid Data Access: SQLとフリーテキスト検索を単一のクエリ言語でシームレスに組み合わせます。
• Scalability: PostgreSQLとFAISSインデックスを通じて、大規模なデータベースをサポートします。
• LLM Optimization: 高価なLLM呼び出しを最小限に抑えるための最適化が含まれています。
• SQL Compatibility: JOINsやGROUP BYsのような一般的なSQL操作をサポートします。