alibaba/skill-up

何を解決するか

skill-up は、AIエージェントの能力（スキル）を評価・改善するための構造化された方法を提供します。臨時のテストを置き換え、特定のケースにおけるエージェントの振る舞いを測定し、リグレッションを確認し、環境やワークスペースのセットアップを自動化する宣言型フレームワークを採用しています。

動作方法

このツールはCLIを使用して、YAMLファイルで定義された宣言型評価ケースを実行します。必要なランタイム環境（ローカル、Docker、OpenSandbox）をプロビジョニングし、対象のスキルまたはMCPサーバーをインストール、エージェントエンジンを実行します。その後、ルールベース、スクリプトベース、またはエージェントベースのジャッジを使って結果を評価し、構造化されたレポート（JSON、HTML、JUnit）を生成します。

さらに、skill-upper というAI駆動のスキルを含んでおり、「評価から進化」のループを可能にします。ユーザーはエージェントと自然言語での会話により失敗を特定し、評価スイートを自動的に修正または拡張し、必要な振る舞いが達成されるまでスキルの実装を反復的に改善できます。

対象ユーザー

AIエージェントや「スキル」を開発している開発者で、特定のタスクを実行できること、既存の機能が破壊されずにリポジトリレベルの変更に対応できることを、再現可能で証拠に基づいた方法で検証したい人向けです。

特徴

• 評価から進化のループ：skill-upper を使って失敗を診断し、自然言語での会話により評価スイートを進化させる。
• 宣言型構成：環境、エンジン、ケースをYAMLで定義し、再現性を確保する。
• マルチエンジン対応：Claude Code、Codex、Qoder CLIなど、さまざまなエージェントエンジンと互換性がある。
• 環境プロビジョニング：ワークスペース、リポジトリの固定データ、ランタイム環境のセットアップを自動化する。
• CI対応：GitHub Actionを含み、継続的インテグレーションパイプラインで複数のエンジンで評価を実行可能。