google/langfun

OO for LLMs

解决的问题

Langfun 简化了自然语言与计算机程序之间的交互。它解决了管理复杂提示(prompt)并确保 LLM 输出结构化且可预测的挑战,而使用原始文本字符串时这通常很难实现。

工作原理

Langfun 使用了一种称为「面向对象提示」的概念。通过将语言视为函数,并利用 PyGlove,它允许用户使用 Python 对象和类型来定义提示。这使得结构化数据可以无缝集成到提示中,并确保 LLM 的响应以类型化的 Python 对象形式返回,而不仅仅是普通字符串。

适用人群

专为需要从 LLM 获取结构化输出的 AI 代理和应用程序开发者设计,也适合需要统一 API 与 Gemini、GPT、Claude 等多种模型交互的开发者。

主要亮点

  • 面向对象提示:使用对象和类型进行提示,实现更精细的控制。
  • 统一 API:无需微调即可兼容主流 LLM,包括 Gemini、GPT、Claude 和 Llama3。
  • 模块化提示:支持文本与多种模态的混合使用。
  • 评估框架:内置强大的 LLM 输出评估框架。
  • 开发者友好:提供智能感知(intellisense)和轻松调试功能,开销极小。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目