promptfoo/promptfoo

Promptfoo: LLM 평가 및 레드팀 훈련

무엇인가요 – Promptfoo는 대규모 언어 모델(LLM) 기반 애플리케이션의 동작을 평가하고 보안 관련 실패를 레드팀 훈련할 수 있는 오픈소스 명령줄 도구(및 Node.js 라이브러리)입니다. 로컬에서 실행되며, OpenAI, Anthropic, Azure, Bedrock, Ollama 등 다양한 LLM 제공업체와 통신 가능하며, 구조화된 결과를 웹 UI에서 확인하거나 CI 파이프라인에 통합할 수 있습니다.

주요 기능

• 자동 프롬프트 테스트 – 테스트 케이스(입력, 예상 출력, 점수 함수)를 정의하고 하나 이상의 모델에 대해 실행할 수 있습니다.
• 레드팀 / 취약점 스캔 – 제약 회피, 개인정보 유출, 정책 위반을 탐지하기 위한 적대적 프롬프트를 제공; Promptfoo는 발견 내용을 보고합니다.
• 모델 비교 – 한 번에 여러 제공업체의 반응을 비교할 수 있는 사이드바이사이드 매트릭스를 제공합니다.
• CI/CD 통합 – 결과를 JSON으로 내보내거나, 내장된 GitHub Actions 워크플로우를 사용하거나, 스크립트에서 라이브러리를 직접 호출할 수 있습니다.
• 풀 리퀘스트용 코드 스캔 – GitHub의 코드 스캔 API에 통합하여 병합 전에 위험한 LLM 사용을 탐지합니다.
• 로컬 전용 실행 – 모든 프롬프트는 귀하의 기계에만 유지되며, LLM 제공업체로의 API 호출만 수행됩니다.

사용 방법

1. 전역 설치(npm i -g promptfoo), Homebrew, 또는 pip/npx를 통해 설치합니다.
2. 제공업체 키를 설정합니다. 예: export OPENAI_API_KEY=….
3. 시작 설정을 초기화합니다(promptfoo init --example getting-started).
4. promptfoo eval로 테스트를 실행한 후, promptfoo view로 브라우저 기반 결과 대시보드를 엽니다.

대상 사용자 – 챗봇, 에이전트, 또는 LLM 출력에 의존하는 모든 애플리케이션을 개발하고 체계적인 테스트, 보안 강화, 준수 보고서가 필요한 개발자입니다.

라이선스 및 커뮤니티 – MIT 라이선스, 현재 OpenAI의 일부이지만 여전히 오픈소스입니다. 활발한 Discord 커뮤니티와 기여 가이드가 있습니다.

---

모든 세부 정보는 리포지토리의 README에서 직접 인용되었습니다.