skilltraining-project/skill-training
Skill training with a corruption and reconstruction loop: train an agent's skill library, not its weights.
解決する課題
専門家が生み出す作品は、ステップバイステップの指示として説明するのが難しいものです。スキルトレーニングにより、エージェントは完成した人間の成果物から直接これらの隠れたスキルを学べます——モデルの微調整なし、手動でのルール作成なし、報酬信号や成功ラベルも不要です。読みやすく編集可能なスキルライブラリを生成し、エージェントのパフォーマンスを測定可能な形で向上させ、他のモデルにも転移します。
仕組み
核となるアイデアは、4つの段階からなるループです:
- 破壊 – 専門的な脚本を簡潔なストーリーアウトラインに圧縮し、技術レベルの詳細を除去します。
- 再構築 – エージェントにスキルカードのセットを使って完全な脚本を再構築させます。
- 比較 – エージェントのドラフトと元の人間の作品を対比し、ギャップを説明します。
- 更新 – そのフィードバックを改訂されたスキルカードに変換し、各カードは小さなMarkdownファイルとして保存され、Git履歴にコミットされます。
エージェントの重みは凍結されたままです。外部のスキルライブラリのみが変更されます。各コミットは検査可能で、元に戻せ、再利用可能です。トレーニングには新しいアノテーションや外部の報酬モデルは不要です。
対象読者
GPUを多用する微調整を避けたい、ドメイン専門家を雇ってスキルルールを書かせたくない、成功シグナルに依存したくない研究者や実践者向けです。クローズドモデルでも動作し、モデルアップグレードにも耐え、詳細な指示やラベルがないが完成した人間の作品のコーパスがある場合に特に有用です。
ハイライト
- ラベルなし、報酬なし – 人間の成果物自体が教師です。
- 読みやすく編集可能なスキル – 学習された各ルールは小さなMarkdownカードで、各更新はGitコミットです。
- 転移する測定可能な利益 – 専門的な短編ドラマ作品でトレーニングされたライブラリは、保留されたエピソードで6つの測定されたライティング行動すべてを改善し、75件の盲検読者判定で49勝し、他のモデル(例:Kimi K2.6、Opus 4.8)も支援します。
- 一般的なハードウェアで動作 – Python標準ライブラリのみが必要で、GPUや重い依存関係は不要です。
- 完全に監査可能 – 各トレーニング実行は、生成されたスクリプト、損失レポート、トレース、スキルライブラリのGit履歴をruns/
ディレクトリに書き込みます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト