mellea: 타입 주석이 달린 출력과 자동 복구 기능을 갖춘 구조화되고 테스트 가능한 생성형 프로그램을 작성하기 위한 Python 라이브러리

해결하는 문제

AI 파이프라인에서 LLM 호출의 예측 불가능성과 취약성을 해결합니다. 조용한 실패(silent failures)와 테스트 불가능한 출력은 워크플로우를 불안정하게 만드는 경우가 많습니다. Mellea는 추측과 수동 프롬프트 엔지니어링을 구조화되고 테스트 가능한 생성형 프로그래밍 방식으로 대체합니다.

작동 방식

Mellea는 @generative 데코레이터를 사용하여 표준 Python 함수를 구조화된 LLM 호출로 변환합니다. Python 타입 힌트와 Pydantic 스키마를 활용하여 출력이 올바른 타입으로 지정되고 형식이 지정되도록 보장합니다. 또한 사용자가 호출에 자연어 요구 사항을 연결할 수 있도록 하여, 시스템이 이를 검증하고 충족되지 않을 경우 자동으로 재시도합니다.

대상 사용자

보장된 출력 스키마, 검증 가능한 요구 사항, 그리고 LLM으로부터 예측 가능한 결과를 필요로 하는 AI 기반 파이프라인 및 에이전트를 구축하는 개발자.

주요 특징

• 구조화된 출력: 생성 시점에 데이터 타입을 강제하기 위해 Pydantic 스키마를 사용합니다.
• 자동 복구: 자연어 요구 사항에 따라 출력을 검증하고 자동 재시도를 수행합니다.
• 샘플링 전략: 다수결 투표(majority voting) 및 거부 샘플링(rejection sampling)과 같이 신뢰성을 향상시키는 다양한 방법을 지원합니다.
• 광범위한 백엔드 지원: OpenAI, Ollama, HuggingFace, WatsonX, LiteLLM, Bedrock와 호환됩니다.
• MCP 호환성: 생성형 프로그램을 Model Context Protocol (MCP) 도구로 노출할 수 있습니다.