generative-computing/mellea

Mellea is a library for writing generative programs.

What it solves

AI 파이프라인에서 LLM 호출의 예측 불가능성과 취약성을 해결합니다. 조용한 실패(silent failures)와 테스트할 수 없는 출력은 워크플로우를 불안정하게 만듭니다. Mellea는 추측이나 수동 프롬프트 엔지니어링 대신, 생성형 프로그래밍을 위한 구조화되고 테스트 가능한 접근 방식을 제공합니다.

How it works

Mellea는 @generative 데코레이터를 사용하여 표준 Python 함수를 구조化된 LLM 호출로 변환합니다. Python 타입 힌트(type hints)와 Pydantic schemas를 활용하여 출력이 올바른 타입과 형식으로 지정되도록 보격합니다. 또한 사용자는 호출에 자연어 요구사항을 첨부할สามารถ 수 있습니다. 시스템은 이를 검증하고 요구사항이 충족되지 않을 경우 자동으로 재시도합니다.

Who it’s for

보장된 출력 schema, 검증 가능한 요구사항, 그리고 LLM으로부터 예측 가능한 결과를 얻어야 하는 AI 파이프라인 및 에이전트를 구축하는 개발자들을 위한 도구입니다.

Highlights

  • Structured Output: Pydantic schemas를 사용하여 생성 시점에 데이터 타입을 강제합니다.
  • Automatic Repair: 자연어 요구사항에 대해 출력을 검증하고 자동 재시도를 수행합니다.
  • Sampling Strategies: 신뢰성을 향상시키기 위한 여러 방법, 예를 들어 majority voting 및 rejection sampling을 지원합니다.
  • Broad Backend Support: OpenAI, Ollama, HuggingFace, WatsonX, LiteLLM, 및 Bedrock과 호환됩니다.
  • MCP Compatibility: Model Context Protocol (MCP) tools로 생성형 프로그램을 노출할 수 있습니다.