guardrails-ai/guardrails

해결하는 문제

Guardrails는 LLM의 출력(및 입력)에 위험이 포함되거나 특정 구조를 따르지 않는 것을 방지하여 AI 애플리케이션을 더욱 신뢰할 수 있도록 설계되었습니다. LLM과 애플리케이션 사이에 검증 레이어를 제공함으로써 유해한 언어, 경쟁사 언급 또는 잘못된 형식의 데이터와 같은 예측 불가능한 LLM 동작 문제를 해결합니다.

작동 방식

Guardrails는 특정 위험을 측정하기 위해 사전 구축된 조치인 "validators" 시스템을 사용하며, 이를 "Guards"로 결합할 수 있습니다. 이러한 Guards는 LLM의 입력을 가로채서 위험을 탐지, 정량화 및 완화합니다. 구조화된 데이터 생성의 경우, Pydantic 모델을 사용하여 원하는 출력 스키마를 정의합니다. 이는 LLM의 기본 함수 호출 기능을 사용하거나, LLM이 스키마에 맞는 데이터를 생성하도록 프롬프트를 최적화함으로써 달성됩니다.

대상

LLM 기반 기능이 일관성을 유지하고 안전하며, 다운스트림 처리를 위해 구조화되고 파싱 가능한 데이터를 생성하도록 보장해야 하는 AI 애플리케이션 구축 개발자.

주요 특징

• Guardrails Hub: 유해한 언어 및 경쟁사 확인과 같은 일반적인 위험에 대해 사전 구축된 검증기 모음.
• 구조화된 데이터 생성: Pydantic 모델을 사용하여 LLM이 유효한 JSON 또는 기타 구조화된 형식을 생성하도록 강제합니다.
• 유연한 배포: Python 라이브러리로 사용할 수 있으며 Flask를 통해 독립형 REST API 서버로 배포할 수 있습니다.
• LLM에 무관: 독점 및 오픈 소스 LLM 모두에서 작동합니다.