NVIDIA-NeMo/Guardrails

해결하는 문제

애플리케이션과 대규모 언어 모델(LLM) 사이에 프로그래머블 레이어를 제공하여 대화가 안전하고 보안되며 주제에 맞게 유지되도록 합니다. LLM이 원치 않는 주제에 대해 논의하는 것을 방지하고, 절차적 탈출(jailbreak) 및 프롬프트 인젝션과 같은 취약점으로부터 보호하며, 모델이 미리 정의된 대화 경로를 따르도록 하여 예측 불가능한 행동으로 벗어나는 것을 방지합니다.

작동 방식

이 라이브러리는 LLM 파이프라인의 다양한 단계에서 데이터를 인터셉트하고 수정하는 '레일'—프로그래머블 제어를 구현합니다:

• 입력 레일: LLM에 도달하기 전에 사용자 입력을 스크리닝하거나 수정합니다.
• 대화 레일: 전용 모델링 언어인 Colang을 사용하여 표준 형태를 정의하고 대화 흐름을 조정합니다.
• 검색 레일: RAG(Retrieval Augmented Generation) 프로세스 중에 검색된 데이터를 필터링하거나 마스킹합니다.
• 실행 레일: LLM이 호출하는 사용자 정의 도구나 액션의 입력과 출력을 제어합니다.
• 출력 레일: 사용자에게 전달되기 전에 LLM의 응답을 검증하거나 수정합니다.

대상 사용자

도메인 특화 챗봇, RAG 기반 질문 응답 시스템, 또는 사용자 정의 LLM 엔드포인트를 구축하는 개발자로서, 모델의 동작과 안전성에 대해 엄격한 제어가 필요한 분들입니다.

주요 특징

• Colang 모델링 언어: 제어 가능한 대화 흐름을 설계하기 위해 특별히 설계된 Python 유사 언어입니다.
• 포괄적인 보호: 환각 탐지, 사실 확인, 절차적 탈출/인젝션 스캔을 내장된 지원 기능으로 제공합니다.
• 유연한 통합: GPT-4, LLaMa-2 등 다양한 LLM과 호환되며, LangChain과 옵션으로 통합 가능합니다.
• 배포 옵션: Python 라이브러리, CLI, 또는 HTTP API를 갖춘 독립 서버로 배포할 수 있습니다.