mellea: 型注釈付きの出力と自動修復を備えた、構造化されテスト可能な生成プログラムを記述するためのPythonライブラリ

何を解決するか

AIパイプラインにおけるLLM呼び出しの予測不可能性と脆弱性に対処します。サイレントな失敗やテスト不可能な出力によって、ワークフローが脆くなりがちな現状を改善します。Melleaは、推測や手動のプロンプトエンジニアリングを、生成プログラミングへの構造化されテスト可能なアプローチに置き換えます。

仕組み

Melleaは@generativeデコレータを使用して、標準的なPython関数を構造化されたLLM呼び出しに変換します。Pythonの型ヒントとPydanticスキーマを活用して、出力が正しく型付けされ、フォーマットされていることを保証します。また、このライブラリは、ユーザーが呼び出しに対して自然言語の要件を付加することを可能にし、システムはそれらの要件が満たされていない場合に検証と自動リトライを行います。

対象者

LLMからの保証された出力スキーマ、検証可能な要件、および予測可能な結果を必要とする、AI駆動のパイプラインやエージェントを構築している開発者。

ハイライト

• 構造化出力: 生成時にPydanticスキーマを使用してデータ型を強制します。
• 自動修復: 自然言語の要件に対して出力を検証し、自動リトライを実行します。
• サンプリング戦略: 多数決（majority voting）や拒絶サンプリング（rejection sampling）など、信頼性を向上させるための複数の手法をサポートしています。
• 幅広いバックエンドサポート: OpenAI, Ollama, HuggingFace, WatsonX, LiteLLM, および Bedrockと互換性があります。
• MCP互換性: 生成プログラムをModel Context Protocol (MCP) ツールとして公開することを可能にします。