Infosys/Infosys-Responsible-AI-Toolkit

해결하는 문제

이 툴킷은 AI 솔루션의 신뢰성과 투명성에 대한 요구를 해결합니다. 안전성, 보안, 개인정보 보호, 설명 가능성, 공정성 및 환각 감지를 생성형 AI와 전통적인 머신 러닝 모델 모두에 통합하기 위한 포괄적인 API 세트를 제공하여, 개발자가 콘텐츠를 규제하고 위험을 완화할 수 있도록 돕습니다.

작동 방식

이 툴킷은 모듈식 API와 지원 사용자 인터페이스로 구성됩니다. LLM 프롬프트와 응답을 규제하기 위해 "모더레이션 계층"을 사용하며, 책임 있는 AI의 다양한 원칙에 대한 전문화된 API를 제공합니다:

• 안전성 및 개인정보 보호: PII, 유해한 텍스트 및 외설적인 콘텐츠를 감지하고 익명화합니다.
• 설명 가능성: ML 모델에 대한 전역 및 지역 설명을 제공하고(SHAP 및 LIME 사용), LLM을 위한 특정 방법(예: Chain of Thought 및 Graph of Thought)을 제공합니다.
• 공정성: 통계적 방법을 사용하여 편향을 감지하고 재가중치와 같은 완화 기술을 제공합니다.
• 환각: LLM 응답의 환각을 정량화하며, 특히 RAG 시나리오 내에서 작동합니다.
• 보안: 프롬프트 인젝션 및 탈옥을 확인합니다.

대상

AI 애플리케이션에 가드레일과 윤리적 정렬을 구현해야 하는 개발자 및 AI 실무자, 특히 Azure OpenAI에 최적화된 애플리케이션을 위한 것입니다.

주요 특징

• 포괄적인 가드레일: 프롬프트 인젝션, 탈옥, 유해성 및 제한된 주제에 대한 검사를 포함합니다.
• RAG 전용 감지: Retrieval-Augmented Generation 시나리오에서 환각을 정량화하기 위한 전용 API입니다.
• 모델 투명성: Thread of Thoughts (ThoT) 및 Chain of Verification (CoVe)를 포함한 여러 설명 가능성 프레임워크를 지원합니다.
• 풀스택 툴킷: 마이크로 프론트엔드 UI (Angular), Python 백엔드, Elasticsearch 및 Kibana와의 원격 측정 통합을 포함합니다.