ifixai-ai/iFixAi

Independent Auditing of AI Agents. Run by human or the agent itself, to answer the most crucial question in the AI Agent Economy. Is the agent doing what is supposed to do? With iFixAi you can have this answer in less than 120 seconds.

解决的问题

现有的 AI 评估工具通常专注于延迟或 Token 效率等技术指标。iFixAi 通过根据业务 KPI 和组织结构审计 AI 代理来填补这一空白，从而在错误导致运营失败之前发现不一致、错误和盲点。

运作方式

iFixAi 将 AI 代理视为黑盒并执行一系列诊断探测。它采用双重角色系统以确保客观性：受测系统 (SUT) 是被评分的代理，而独立评审（来自不同的 AI 供应商）则评估结果。这防止了代理自我评分，并提供了可引用的评级。

用户可以通过引导式 CLI 向导、用于自动化的明确 CLI 标志，或作为直接集成到 Claude Code、Cursor 或 VS Code 等 AI 代理中的插件/技能来运行该工具。它支持广泛的供应商 (OpenAI, Anthropic, Gemini 等)，并可通过 HTTP 端点测试裸模型 API 或实际部署的代理。

目标对象

部署 AI 代理并需要运营保证与独立审计，以确保其代理行为符合业务规则和安全政策的开发人员与组织。

特色亮点

  • 独立审计：使用跨供应商评审系统提供客观、可引用的评级。
  • 多模态接口：可作为 CLI、Claude Code/Codex 的原生插件，或各种基于 IDE 代理的支架技能使用。
  • 综合评分：根据五大核心支柱的加权平均值对代理进行评分：捏造 (Fabrication)、操纵 (Manipulation)、欺骗 (Deception)、不可预测性 (Unpredictability) 和不透明度 (Opacity)。
  • 灵活测试：支持通过 OpenAI 兼容的 HTTP 端点测试裸模型或完全部署的代理。
  • 分层测试套件：提供各种套件（冒烟测试、策略测试、核心测试、扩展测试、全部测试）以平衡审计的速度与深度。

相关