outlines: 一个通过类型约束生成来保证 LLM 结构化输出的库

它解决了什么问题

LLM 输出通常是不可预测且无结构的，这通常需要开发者使用脆弱的正则表达式或生成后的解析来强制将数据转换为可用格式。Outlines 通过在生成过程本身中保证结构化输出，解决了这个问题，确保数据符合指定的 schema，而无需进行后处理。

工作原理

Outlines 允许用户使用 Python 的类型系统来定义所需的输出类型，例如用于固定选项的 Literal，用于数字的 int，或者用于复杂嵌套对象的 Pydantic 模型。它与各种模型提供商（包括 OpenAI, vLLM, Ollama, 和 Hugging Face transformers）集成，以约束 LLM 的 token 生成，使其严格遵循这些类型。

适用人群

它专为构建需要从 LLM 获取可靠、机器可读数据的生产级 AI 应用的开发者设计，例如那些自动化客户支持分流、电子商务分类或函数调用（function calling）的应用。

亮点

• 模型无关性: 适用于广泛的本地和基于 API 的模型，包括 vLLM, Ollama, 和 OpenAI。
• 保证有效性: 通过在生成过程中强制执行结构，消除了解析错误和损坏的 JSON。
• Pydantic 集成: 通过 Pydantic 模型支持复杂的数据结构，以便于验证。
• 灵活的约束: 支持简单的类型如整数和 literals，以及用于自动化参数提取的复杂函数签名。