generative-computing/mellea

Mellea is a library for writing generative programs.

What it solves

AI パイプラインにおける LLM 呼び出しの予測不可能性と脆弱性に対処処します。サイレントエラーやテスト不可能な出力は、ワークフローを脆くさせます。Mellea は、生成的なプログラミングへの構造化されたテスト可能なアプローチを用い、推測や手動のプロンプトエンジニアリングを推測に置き換えます。

How it works

Mellea は @generative デコレータを使用して、標準的な Python 関数を構造化された LLM 呼び出しに変換します。Python の型ヒント（type hints）を使用し、Pydantic schemas を活用することで、出力が正しく型付けされ、フォーマットされることを保証します。また、ユーザーは呼び出しに自然言語による要件を付加することができ、システムはそれらが満たされない場合に自動的にリトライします。

How it works

Who it’s for

AI パイプラインやエージェントを構築する開発者で、LLM からの出力 schema が保証され、要件が検証可能で、予測可能な結果が必要な方向けです。

Highlights

  • Structured Output: Pydantic schemas を使用して、生成時にデータ型を強制します。

  • Automatic Repair: 自然言語による要件に対して出力を検証し、自動リトライを実行します。

  • Sampling Strategies: majority voting や rejection sampling など、信頼性を向上させるための複数の手法をサポートしています。

  • Broad Backend Support: OpenAI, Ollama, HuggingFace, WatsonX, LiteLLM, および Bedrock と互換性があります。

  • MCP Compatibility: 生成的なプログラムを Model Context Protocol (MCP) tools として公開できます。