tophant-ai/aibeat

解決する課題

AI Beat は生成AI向けのセキュリティ評価フレームワークを提供し、AI システムが安全に動作しているかどうかを重視しています。AI の最終的な回答が安全に見えても、その背後にある実行パス（AI がそこに到達するために取ったアクション）がセキュリティ境界を越えたり、機密情報を漏洩したりする可能性があるという問題に対処します。

仕組み

このプロジェクトは、主に2つのツールで構成されています：

• PromptBeat: 敵対的なケースをシミュレートし、ジャッジモデルを使用して動作を評価することで、LLM、RAG アプリケーション、および API をテストするブラックボックス評価エンジン。
• AgentBeat: 計装化されたエージェントランタイム用に設計された PromptBeat の拡張機能。ツール呼び出し、コマンド実行、ファイル変更などのランタイム証拠を収集し、最終的な応答では見えないセキュリティ上の失敗を検出します。

両方のツールは、シナリオ、ケース、レポートのための共有モデルを使用しており、ユーザーはシンプルな入出力テストから始めて、深いトレース分析に移行できます。

対象者

LLM、RAG アプリケーション、および AI エージェントの安全性とセキュリティを検証する必要がある開発者やセキュリティ研究者のために設計されています。特に、ファイルを変更したりコマンドを実行したりする実行権限を持つものに対してです。

ハイライト

• 証拠ベースの評価: 回答に関係なく、トレース、環境変更、ファイル内容をキャプチャしてセキュリティ侵害を証明します。
• 再現可能なワークフロー: シナリオ設計、敵対的ケース生成、ジャッジを単一のパイプラインに統合します。
• 敵対的テスト: テストケースを生成するために「アタッカー」モデルの使用をサポートします。
• マルチターゲット対応: さまざまな LLM プロバイダー、HTTP エージェント、および Claude Code や OpenCode などのコーディングエージェントと互換性があります。