ifixai-ai/iFixAi

해결하는 문제

기존의 AI 평가 도구는 대기 시간이나 토큰 효율성과 같은 기술적 지표에 집중하는 경우가 많습니다. iFixAi는 비즈니스 KPI 및 조직 구조를 기반으로 AI 에이전트를 감사하여 이러한 격차를 해소하고, 운영 장애가 발생하기 전에 불일치, 실수 및 사각지대를 발견합니다.

작동 방식

iFixAi는 AI 에이전트를 블랙박스로 취급하고 일련의 진단 프로브를 실행합니다. 객관성을 보장하기 위해 이중 역할 시스템을 사용합니다. 테스트 대상 시스템 (SUT)은 평가받는 에이전트이며, 독립적인 판정자(다른 AI 벤더)가 결과를 평가합니다. 이는 에이전트가 스스로를 평가하는 것을 방지하고 인용 가능한 등급을 제공합니다.

사용자는 가이드가 포함된 CLI 마법사, 자동화를 위한 명시적 CLI 플래그, 또는 Claude Code, Cursor, VS Code와 같은 AI 에이전트에 직접 통합된 플러그인/스킬로 도구를 실행할 수 있습니다. 광범위한 공급자 (OpenAI, Anthropic, Gemini 등)를 지원하며, 베어 모델 API 또는 HTTP 엔드포인트를 통해 실제로 배포된 에이전트를 테스트할 수 있습니다.

대상 사용자

AI 에이전트를 배포하는 개발자 및 조직으로, 에이전트가 비즈니스 규칙 및 안전 정책에 따라 작동하는지 확인하기 위해 운영 보증 및 독립적인 감사가 필요한 경우.

주요 특징

• 독립적인 감사: 벤더 간 판정 시스템을 사용하여 객관적이고 인용 가능한 등급을 제공합니다.
• 멀티모달 인터페이스: CLI, Claude Code/Codex용 네이티브 플러그인, 또는 다양한 IDE 기반 에이전트를 위한 스캐폴딩된 스킬로 사용할 수 있습니다.
• 포괄적인 점수 산정: 5가지 핵심 기둥(조작, 조작, 기만, 예측 불가능성, 불투명성)의 가중 평균을 기준으로 에이전트를 평가합니다.
• 유연한 테스트: OpenAI 호환 HTTP 엔드포인트를 통해 베어 모델 또는 완전히 배포된 에이전트의 테스트를 지원합니다.
• 계층화된 테스트 스위트: 감사 속도와 깊이의 균형을 맞추기 위해 다양한 스위트(스모크, 전략, 핵심, 확장, 전체)를 제공합니다.