NVIDIA/NeMo-Agent-Toolkit

What it solves

NeMo Agent Toolkitは、開発者がAIエージェントをプロトタイプから本番環境へと移行するのを支援するツールセットを提供します。異なるフレームワークにわたってエージェントを最適化、観測、スケーリングすることの難しさを解決し、速度、精度、および意思決定を向上させるためのエンタープライズグレードのインストルメンテーションとパフォーマンス・プリミティブを提供します。

How it works

このツールキットは、人気の高いエージェント・フレームワーク（LangChain、CrewAI、LlamaIndexなど）と統合できる、フレームワークに依存しないレイヤーとして機能します。また、カスタムのPythonエージェントとも併用可能です。YAMLファイルを使用した設定ベースのアプローチを採用して、エージェント、ツール、およびワークフローを定義します。これらのワークフローを実行および評価するためのCLIツール（nat）を提供し、対話とデバッグ用の組み込みUIも含まれています。

Who it’s for

エージェント・ワークフローを構築しており、プロファイリング、評価、および本番レベルの最適化のためのツールを必要としているAI開発者およびエンタープライズ・ソフトウェア・エンジニアです。

Highlights

• Framework Agnostic: LangChain、LlamaIndex、CrewAI、Microsoft Semantic Kernel、およびGoogle ADKと動作します。
• Agent Performance Primitives (APP): 並列実行、投機的分岐、および優先ルーティングにより、グラフベースのエージェントを加速させます。
• Comprehensive Insights: エージェントレベルから個々のトークンに至るまでのプロファイリング、および観測可能性のためのネイティブなLangSmithトレーシングを含みます。
• Optimization Suite: ハイパーパラメータおよびプロンプトの最適化、オフライン評価システム、およびLLMのためのRLベースのファインチューニングを特徴としています。
• Protocol Support: 分散エージェント・チームのためのModel Context Protocol (MCP) および Agent-to-Agent (A2A) プロトコルと統合します。
• NVIDIA Dynamo Integration: ランタイム・インテリジェンスを通じて、大規模なエージェントのパフォーマンスを向上させるための実験的なサポートを提供します。