OpenAIのモデル安全性のためのルールベース報酬

OpenAIはRule-Based Rewards（RBR）という新しいアラインメント手法を開発しました。これは、膨大な人間データの収集を必要とせずにAIモデルが安全に振る舞えるようにするものです。人間のフィードバックを明確なプログラム的ルールで置き換えるか補完することで、RBRは安全ポリシーの迅速な更新を可能にし、モデルの有用性と危害防止のバランスをより効率的に取ることができます。

ルールベース報酬の仕組み

Rule-Based Rewards は、事前に定義された命題（望ましいまたは望ましくない応答特性を記述したシンプルな文）を利用してモデルの出力を評価します。これらの命題はルールに組み合わされ、プロンプトに適用される特定の安全ポリシーに基づいて応答を分類します。

3つの応答カテゴリ

リクエストに応じて、システムはプロンプトを以下の3つの望ましい応答タイプのいずれかにマッピングします。

• Hard Refusals（ハードリファウル）: 犯罪的ヘイトスピーチ、過激主義、暴力犯罪の指示などに使用します。理想的な応答は簡潔な謝罪と「対応できません」という旨の表明を含み、判断的な言葉や過度な冗長さを避けます。
• Soft Refusals（ソフトリファウル）: 自傷行為などのセンシティブなトピックに使用します。理想的な応答は、ユーザーの感情状態に共感しつつ謝罪し、依然としてリクエストを断る形です。
• Comply（コンプライ）: 無害なリクエストで、モデルがユーザーの要求を完全に満たすべき場合に使用します。

技術的実装

自動採点器（固定された言語モデル）が命題への適合度に基づいて応答をスコア付けします。このスコアを用いて、理想的な応答タイプが既知の少数のプロンプトデータセットから学習された重みパラメータを持つ線形モデルをフィットさせます。

これらのRBR報酬は、標準的なHuman Feedbackからの強化学習（RLHF）パイプラインに統合されます。具体的には、Helpful‑only報酬モデルからの報酬と組み合わせ、Proximal Policy Optimization（PPO）アルゴリズムにおける追加シグナルとして使用し、モデルが安全ポリシーに従うよう促します。

パフォーマンスと結果

RBRで訓練されたモデルは、人間フィードバックで訓練されたモデルと同等の安全性能を示しつつ、以下のような運用上の利点を提供します。

• 過度な拒否の削減: RBRは安全なリクエストを誤って拒否するケースを減らし、モデルの全体的な有用性を向上させます。
• 効率性: 膨大な人間データへの依存を大幅に削減し、訓練プロセスを高速かつコスト効果的にします。
• 機敏性: ルールの修正や追加だけで安全ガイドラインを迅速に更新でき、モデルの大規模な再訓練を必要としません。
• 能力の維持: RBRの導入は、一般的な能力ベンチマークにおける評価指標に悪影響を与えません。

限界と倫理的考慮事項

RBRは明確なルールが存在するタスクには有効ですが、質の高いエッセイ執筆など主観的なタスクには適しにくいです。この課題に対処するため、OpenAIはRBRと人間フィードバックを組み合わせ、RBRは「スラングを使わない」などの具体的ガイドラインに、 人間フィードバックは一貫性や論理性といった微妙な品質に利用します。

倫理的観点からは、安全チェックを人間からAIへ移行することで人間の監視が減少し、バイアスが強化されるリスクがあります。特にバイアスを含むモデルがRBR報酬を生成する場合、公平性と正確性を確保するために研究者はRBRを慎重に設計する必要があります。

将来の応用

安全性以外にも、OpenAIはRBRが明示的なルールで望ましい振る舞いを定義できるあらゆるタスクに適用可能であると示唆しています。たとえば、特定のアプリケーション向けに応答の人格やフォーマットを調整することが考えられます。今後の研究では、RBRの各コンポーネントを解明するアブレーションスタディ、ルール開発のための合成データ利用、そして多様な領域にわたる大規模な人間評価が予定されています。