MatrAIx-ai/MatrAIx-Persona-8B

해결하는 문제

MatrAIx는 일반적이거나 교환 가능한 테스트 대상이 아닌, 다양한 대표적인 사용자 집단을 활용하여 AI 시스템과 인터랙티브 제품을 평가하는 문제를 해결합니다. 개발자는 배경, 심리, 행동이 다른 다양한 사람들의 소프트웨어와의 상호작용을 시뮬레이션함으로써 제품의 스트레스 테스트를 수행하고 가설을 도출할 수 있습니다.

작동 방식

이 시스템은 1,290개의 범주형 차원으로 구성된 세부 스키마를 사용하여 페르소나를 정의합니다. 이러한 페르소나는 LLM 에이전트로 구현되며, 설문조사, AI 챗봇, 웹, 앱(네이티브 데스크톱 및 모바일 포함)의 네 가지 특정 환경에서 재현 가능한 작업을 수행합니다. 인프라는 100만 개의 품질 필터링된 페르소나로 구성된 코어셋을 활용하여 개별 에이전트의 궤적을 보다 광범위한 인구 수준의 결과와 연결하는 대규모 시뮬레이션을 지원합니다.

대상 사용자

실제 사용자에게 배포하기 전에 다양한 사용자 그룹에서 시스템의 성능을 평가해야 하는 AI 연구자 및 제품 개발자에게 적합합니다.

주요 특징

• 다중 환경 테스트: 설문조사, 챗봇, 웹 브라우저, 네이티브 OS 애플리케이션(macOS/iOS)에서 평가를 지원합니다.
• 대규모 페르소나 스케일: 1,000개 이상의 차원을 포함하는 공유 스키마와 100만 명의 페르소나를 포함하는 공개 데이터셋을 제공합니다.
• 재현 가능한 작업: 일관된 평가를 보장하기 위해 내장된 검증기와 함께 특정 작업 사양을 생성할 수 있습니다.
• 시각적 플레이그라운드: 페르소나 코호트를 샘플링하고 평가 파이프라인을 시각적으로 시작할 수 있는 GUI를 포함합니다.