NVIDIA/NeMo-Agent-Toolkit

What it solves

NeMo Agent Toolkit 提供了一套工具，旨在帮助开发者将 AI agent 从原型阶段推向生产阶段。它解决了在不同框架下优化、观测和扩展 agent 的难题，提供企业级的仪表化和性能原语，以提高速度、准确性和决策能力。

How it works

该工具包作为一个与框架无关的层，可以与流行的 agentic frameworks（如 LangChain、CrewAI 和 LlamaIndex）集成，也可以与自定义的 Python agents 使用。它采用基于配置的方法（通过 YAML 文件）来定义 agents、tools 和 workflows。它提供了一个 CLI 工具 (nat) 用于运行和评估这些 workflows，并包含一个内置的 UI 用于交互和调试。

Who it’s for

构建 agentic workflows 并需要进行性能分析、评估和生产级优化的 AI 开发者和企业软件工程师。

Highlights

• Framework Agnostic: 与 LangChain、LlamaIndex、CrewAI、Microsoft Semantic Kernel 和 Google ADK 协同工作。
• Agent Performance Primitives (APP): 通过并行执行、投机性分支和优先级路由来加速基于图的 agents。
• Comprehensive Insights: 包括从 agent 级别向下细化到单个 token 的性能分析，以及用于可观测性的原生 LangSmith tracing。
• Optimization Suite: 具备超参数和 prompt 优化器、离线评估系统以及针对 LLMs 的基于 RL 的微调功能。
• Protocol Support: 集成了 Model Context Protocol (MCP) 和 Agent-to-Agent (A2A) 协议，以支持分布式 agent 团队。
• NVIDIA Dynamo Integration: 实验性支持通过运行时智能来大规模提升 agent 性能。