guardrails-ai/guardrails

해결하는 문제

Guardrails는 LLM 기반 애플리케이션이 신뢰성 있고 안전하도록 보장하는 방법을 제공합니다. 예측 불가능한 LLM 출력 문제를 해결하기 위해 위험(예: 독성 또는 경쟁사 언급 등)을 탐지하고 완화하며, 모델이 특정한 구조화된 형식으로 데이터를 생성하도록 보장합니다.

작동 방식

이 프레임워크는 두 가지 주요 메커니즘을 통해 작동합니다.

1. 입력/출력 가드: 사전 구축된 또는 사용자 정의 위험 측정(검증기)을 사용하여 LLM에 들어오거나 나가는 텍스트를 가로채고 검사합니다. 검증에 실패하면 예외를 발생시키는 등의 특정 작업을 트리거할 수 있습니다.
2. 구조화된 데이터 생성: Pydantic 모델과 통합하여 LLM이 정의된 스키마로 데이터를 반환하도록 강제합니다. 지원되는 모델의 경우 함수 호출을 사용하고, 그렇지 않은 경우 프롬프트를 최적화합니다.

또한 Guardrails는 Flask를 사용하여 독립형 REST API 서버로 배포할 수 있어, 애플리케이션이 원격으로 접근할 수 있습니다.

대상 사용자

안전 제약 조건을 강제하거나 환각을 방지하거나 LLM 출력이 일관되게 구조화된 데이터로 파싱될 수 있도록 보장해야 하는 AI 애플리케이션 개발자에게 적합합니다.

주요 특징

• Guardrails Hub: 일반적인 위험에 대한 사전 구축된 검증기 모음.
• Pydantic 통합: LLM 응답을 구조화된 Python 객체로 원활하게 변환.
• 유연한 배포: 라이브러리로 사용하거나 독립형 서버로 사용 가능.
• LLM 독립성: 프로퍼라이어터리 모델과 오픈소스 모델 모두와 호환됩니다.