agents-flex/agents-flex

解決的問題

Agents-Flex 是 Java 生態系統的輕量級 AI 應用開發框架。它讓開發者能在不被特定執行環境或應用框架綁定的情況下，建構智慧型客服、企業知識庫、自然語言資料分析工具等 AI 驅動的服務。它簡化了多個模型提供者整合與複雜 AI 工作流程的編排。

如何運作

此框架由開發者可自由組合的模組化元件構成。它為不同模型類型（對話、嵌入、影像、重排序）提供統一的抽象，並為同步與串流輸出提供一致的 API。

主要機制包括：

• 工具呼叫：支援註解式工具定義與動態工具建構，透過「工具群組」系統，僅在使用者提示符合特定條件時才附加工具。
• 持久化代理執行時：AgentRunner 管理代理回合，包含快照復原、工具審核，以及透過 JDBC 或 Redis 實現的持久化。
• RAG 流水線：提供完整的建構模組，用於文件提取、分割、嵌入與檢索，支援多種向量儲存。
• 攔截器：採用責任鏈模式，允許開發者在請求到達模型前，條件性地修改提示、選項與請求標頭。
• 專用模組：包含對 MCP（模型上下文協定）、用於資料分析的 Text2SQL，以及用於結構化知識導航的階層式「LLM Wiki」的專門支援。

適用對象

需要與 Spring Boot 或純 Java（JDK 8+）整合的、具備生產就緒模組化框架的 Java 開發者。

特色亮點

• 原生 Java：相容 Java 8+，與 Spring Boot 無縫整合。
• 廣泛整合：支援多種 LLM 提供者（OpenAI、Qwen、DeepSeek、Ollama）、向量儲存（Redis、Milvus、Elasticsearch），以及多模態能力（影像、影片、音訊、OCR）。
• 生產就緒：內建模型路由、負載平衡、電路斷路，以及基於 OpenTelemetry 的可觀測性功能。
• 靈活工具鏈：包含用於隔離技能執行的沙箱與漸進式工具發現系統。
• MCP 支援：可將外部 MCP 工具轉換為原生框架工具。