mellea: 一個用於編寫具有類型註解輸出與自動修復功能的結構化、可測試生成式程式的 Python 函式庫

它解決了什麼問題

它解決了 AI 工作流中 LLM 呼叫的不確定性與脆弱性，在這些場景中，靜默失敗與不可測試的輸出往往會使工作流變得脆弱。Mellea 以結構化、可測試的生成式程式編寫方法，取代了猜測與手動提示工程。

運作原理

Mellea 使用 @generative 裝飾器將標準 Python 函式轉換為結構化的 LLM 呼叫。它利用 Python 類型提示（type hints）與 Pydantic schema 以確保輸出具有正確的類型與格式。該函式庫還允許使用者將自然語言需求附加到呼叫中，系統隨後會驗證這些需求，若未達成則會自動重試。

目標對象

需要保證輸出 schema、可驗證需求以及從 LLM 獲得可預測結果的 AI 工作流與代理（agents）開發者。

重點功能

• 結構化輸出：使用 Pydantic schema 在生成時強制執行資料類型。
• 自動修復：根據自然語言需求驗證輸出，並執行自動重試。
• 採樣策略：支援多種提高可靠性的方法，例如多數決投票（majority voting）與拒絕採樣（rejection sampling）。
• 廣泛的後端支援：相容於 OpenAI, Ollama, HuggingFace, WatsonX, LiteLLM, 與 Bedrock。
• MCP 相容性：允許將生成式程式作為 Model Context Protocol (MCP) 工具公開。