stanford-oval/suql

它解决了什么问题

SUQL 解决了查询包含结构化（关系型）和非结构化（自由文本）信息的混合数据源的挑战。传统 SQL 在处理结构化数据时非常有效，但无法处理自由文本搜索。SUQL 通过添加自由文本原语扩展了 SQL，从而能够对混合数据库进行精确且简洁的查询表达。

它如何工作

SUQL 集成了检索模型、大型语言模型（LLMs）和传统 SQL。它使用检索模型和 LLM 处理非结构化数据，使用关系型 SQL 处理结构化数据。一个关键组件是 answer 函数，它允许用户将自由文本约束与结构化约束结合。为了处理大规模数据，它使用 PostgreSQL 实现可扩展性，并使用 FAISS 对自由文本字段进行索引，采用 HNSW 和乘积量化等密集向量处理方法。

适用于谁

需要访问混合数据源（如包含结构化评分和结构化评论的餐厅数据库）的开发者，用于构建对话式代理或聊天机器人。

主要特点

• 混合数据访问：在单一查询语言中无缝结合 SQL 和自由文本检索。
• 可扩展性：通过 PostgreSQL 和 FAISS 索引支持大型数据库。
• LLM 优化：包含优化措施以减少昂贵的 LLM 调用。
• SQL 兼容性：支持通用 SQL 操作，如 JOIN 和 GROUP BY。

一个能将 SQL 扩展为支持自由文本原语的查询语言，使用户能够对包含结构化和非结构化数据的数据库进行对话式搜索。— @handle