agenta: 這是什麼、解決什麼問題以及為什麼它正受到關注

它解決了什麼問題

Agenta 是一個開源的 LLMOps 平台，旨在幫助工程和產品團隊構建更可靠的 LLM 應用程式。它解決了管理提示詞 (prompts)、系統性評估模型性能以及維持對生產環境應用程式的可視性等難題。

它是如何運作的

Agenta 提供了一套整合工具，彌補了提示詞工程與生產部署之間的差距：

• 提示詞管理 (Prompt Management)：一個互動式遊樂場 (playground) 允許用戶並排比較提示詞，並透過分支與環境控制進行版本管理。它支援超過 50 種 LLM 模型和自定義提供者。
• 評估 (Evaluation)：該平台透過靈活的測試集 (來自生產數據或 CSVs) 和多種評估器 (包括 LLM-as-judge 和人類回饋整合) 來實現系統化測試。
• 可觀測性 (Observability)：它使用 OpenTelemetry 原生追蹤 (與 OpenLLMetry 和 OpenInference 相容) 來追蹤成本、延遲和使用模式，並為除錯複雜的工作流提供詳細的追蹤紀錄。

對象是誰

它主要為工程和產品團隊，以及需要協作進行提示詞工程和配置、而無需編寫程式碼的主題專家 (SMEs) 而構建。

重點亮點

• 互動式遊樂場 (Interactive Playground)：針對測試案例進行並排提示詞比較。
• 多模型支援：相容於 50+ LLMs 並具備自定義模型的能力。
• 系統化評估：20+ 預建評估器以及對自定義評估器的支援。
• 生產可視性：使用開放標準進行詳細的 LLM 追蹤和成本/性能追蹤。