OpenAIのAGIとその先の計画

OpenAIは、人工汎用知能（AGI）を安全に実現するために、段階的な展開と反復的学習の戦略を追求しています。このアプローチは、突然の転換による衝撃を防ぎ、政策立案者、機関、一般市民が強力なAIによって引き起こされる経済的・社会的変化に適応できるようにすることを目的としています。

段階的展開と反復的学習

OpenAIは、AGIへの突然の移行ではなく、段階的な移行を提唱しています。この漸進的アプローチは、社会がAIの利点と欠点を理解し、経済を適応させ、適切な規制を実施するための必要な時間を提供します。

迅速なフィードバックループ: OpenAIは、バイアスや雇用喪失といった展開上の課題に対処する最善の方法は、迅速な学習と慎重な反復の緊密なフィードバックループであると考えています。
民主的なアクセス: 同組織は、APIやオープンソースを通じてAIの利用を拡大し、権力の分散と新たなアイデアを提供する貢献者層の拡大を促進しています。
リスクベースの慎重さ: システムがAGIに近づくにつれ、OpenAIは慎重さを高めています。組織は、AGIおよびそれに続くシステムのリスクが存在的（existential）である可能性があるという前提で運営しています。
展開閾値: OpenAIは、悪意ある行為者を助長したり、安全でない競争を加速させるなど、デメリット側にバランスが傾いた場合、継続的な展開計画を大幅に変更する可能性があると述べています。

アラインメントと制御性

OpenAIは、モデルがますますアラインメントされ、制御可能になることに注力しており、元のGPT-3からInstructGPT、ChatGPTへの移行を初期の例として挙げています。

ユーザーの裁量と範囲: 組織はAI利用の広範な範囲について世界的な合意を求めつつ、その範囲内でユーザーに大きな裁量を提供することを意図しています。製品は「デフォルト設定」を制限する可能性がありますが、ユーザーはAIの挙動を変更できるようになるでしょう。
高度なアラインメント手法: OpenAIは、短期的にはAIを用いて人間が複雑なモデル出力を評価しシステムを監視することを計画し、最終的にはAIを活用して新たなアラインメント手法を開発することを目指しています。
安全性と能力の共進化: OpenAIは、AIの安全性と能力は別個の二項対立ではなく、むしろ相関関係にあると主張しています。最も有能なモデルと共に作業することで最高の安全性の取り組みが生まれることが多いからです。ただし、安全性の進展と能力の進展の比率は上昇しなければならないと組織は強調しています。

ガバナンスとグローバル協調

OpenAIは、AIシステムのガバナンス、利益の公平な分配、アクセスの公平な共有に関するグローバルな対話を促進することを意図しています。

憲章のコミットメント: OpenAI憲章の条項は、組織が後期段階のAGI開発に向けて競争するのではなく、他の安全志向組織を支援することを約束しています。
リターン上限: 株主へのリターンは上限が設定されており、無限の価値を追求するインセンティブを防ぎ、破滅的に危険なシステムの展開リスクを回避します。
非営利ガバナンス: 非営利組織がOpenAIを統括しており、人類の利益を営利目的より優先できるようにしています。安全上の理由で株主への株式義務を取り消す可能性も含まれます。

独立した監督と公共基準

OpenAIは、新しいシステムのリリース前に独立した監査を実施することを支持しています。組織は、将来のシステムのトレーニング開始前に独立したレビューが必要になる可能性があること、そして高度な取り組みでは新しいモデルの計算リソース増加率を制限することに合意する必要があるかもしれないと示唆しています。

トレーニング停止基準: AGIプロジェクトがトレーニングを停止すべき時点に関する基準。
リリース安全性: モデルをリリースしても安全かどうかを判断する基準。
本番撤回: モデルを本番利用から撤回すべき時点に関する基準。
政府の洞察: 主要な世界政府が一定規模以上のトレーニング実行について洞察を持つべきだという考え。

超知能への道

OpenAIは、AGIを知能の連続体上の一点と見なしています。もし現在のペースで進展が続けば、世界は劇的に変化し、ミスアラインされた超知能AGIや超知能で決定的リードを持つ独裁体制に伴う並外れたリスクが生じる可能性があります。

科学を加速させることができるAIには特別な配慮が必要であり、これがAGIが自身の進歩を加速させる「高速テイクオフ」につながる可能性があります。OpenAIは、ゆっくりとしたテイクオフの方が安全に保ちやすく、重要な局面でAGIの取り組みが協調して速度を落とすことが、社会が適応する時間を確保する上で不可欠であると主張しています。