genai-processors: 一个用于构建异步且可组合的多模态 AI 流水线的模块化框架

它解决了什么问题

GenAI Processors 是一个轻量级的 Python 库，旨在减少 LLM API 的碎片化并简化复杂、异步 AI 流水线的创建。它提供了一种统一的方式来处理多模态内容，并在不同的模型、智能体和工具之间流式传输数据，而无需编写复杂的管道代码。

它是如何工作的

该库围绕 Processor 抽象构建，该抽象封装了一个工作单元。它使用“双接口”模式来分离创建处理器（Producer）和使用它们（Consumer）的逻辑。

关键机制包括：

• 统一的内容模型：使用 ProcessorPart 来封装多模态数据（文本、图像、音频、JSON），并附带 MIME 类型和角色等元数据。
• Asyncio 集成：基于 Python 的 asyncio 构建，支持原生的异步流式传输和并发任务编排。
• 可组合的流水线：可以使用 + 运算符将处理器链接在一起，或者使用 // 运算符进行并行化，以构建复杂的数据流。
• 集成的 API 支持：包括内置处理器，如用于标准 API 调用的 GenaiModel 和用于与 Gemini API 进行实时流式交互的 LiveProcessor。

适用人群

构建生成式 AI 应用的开发者，特别是那些需要编排多模态流式数据并创建模块化、可重用智能体行为的开发者。

亮点

• 模块化设计：任务被分解为可重用的 Processor 和 PartProcessor 单元。
• 原生流式传输：默认内置异步流式传输。
• 多模态支持：无缝处理文本、图像、音频和自定义 JSON。
• 灵活的编排：支持基于回合的交互以及实时的、流式传输的智能体。