OpenAI、技術的ブレイクスルーを主張するためにユーザーとの会話を学習に使用したとして非難される

OpenAI、ブレイクスルーのためにユーザーとの会話を学習に使用したとの疑惑に直面

研究者たちは、OpenAIが技術的なブレイクスルーを達成するためにプライベートなユーザーとの会話を学習データとして利用し、その結果を独自の発見として提示していると非難しています。この論争は、OpenAIがモデルとやり取りした学術研究者から証明や解決策を「盗んだ」可能性があり、実質的にユーザーの知的財産を使用してブレイクスルーを主張しているという主張に集中しています。

ユーザーのオプトアウトとデータ漏洩の間の対立

論争の中心的な点は、ユーザーが学習からオプトアウトする責任があるのか、それともAI研究所が学習セットにおけるデータ漏洩を防ぐ道徳的および技術的な義務を負っているのかという点です。

「オプトアウト」の議論

一部の観察者は、ユーザーは自身のデータセキュリティに責任があると考えています。ChatGPTでは、「Improve the model for everyone」設定がデフォルトで有効になっており、OpenAIがコンテンツを学習に使用することを可能にしています。研究者に対する批判者は、ユーザーがこの設定を明示的にオプトアウトしない限り、実質的にデータが使用されることに同意していると主張しています。

「漏洩」の議論

他の専門家は、立証責任はAI研究所にあるべきだと主張しています。彼らは、OpenAIがブレイクスルーを主張する前に、特定の、ユニークな解決策や証明が記憶され、そのまま出力（regurgitation）されるようなデータ漏洩を積極的にチェックすべきだと主張しています。

"OpenAIは、このような大きなブレイクスルーに直面した際、学習データに漏洩がないかを確認することができ、また確認すべきです。出典を適切に引用することは著者の責任です。"

ユーザーデータによる学習の技術的なニュアンス

ユーザーデータの使用は、リスクの観点からすべてが等しいわけではありません。元OpenAI研究者のJohn Schulmanは、「会話による学習」の異なる段階を強調しており、それぞれに異なるレベルの再出力（regurgitation）のリスクがあります。

Pretraining on user data: ユーザーのトークンを予測対象として使用すること。これは元のテキストの再出力（記憶）の高いリスクを伴います。
Distillation: ユーザーのプロンプトを使用して、大規模モデルを小規模モデルに蒸留すること。これは再出力のリスクが低くなります。
RL (Reinforcement Learning) Tasks: ユーザーのトレースを使用してRLタスクを構築すること。これは一般的に記憶能力は低いですが、実装によっては顧客のIPを抽出できる可能性があります。

AIユーザーのための運用セキュリティ (OpSec)

データの取り扱いに関する透明性の欠如を考慮し、技術的なユーザーや研究者は、知的財産を保護するためにいくつかの「常識的なOpSec」対策を提案しています。

Explicit Opt-Out: アカウントのデータコントロールで学習設定を手動で無効にします。
Avoid Feedback Buttons: 「thumbs up/down」フィードバックボタンを使用すると、学習目的で会話全体が収集・保持されることがよくあります。
Use Temporary Chats: ChatGPTやClaudeで利用可能な「incognito」または一時的なチャットモードを利用してください。これらは学習から除外されるように設計されています。
Be Wary of Safety Classifiers: Anthropicなどの一部のプロバイダーは、ユーザーが一般的な学習からオプトアウトしていても、セーフティ・クラシファイアが作動したチャットを保持し、学習に使用する場合があります。

透明性のための提案された解決策

これらの紛争を解決するために、一部のコミュニティメンバーは、標準化された除染（decontamination）方法の採用を提案しています。一つの提案は、「canary GUIDs」（BIG-benchで使用されるものと同様）の使用と、n-gramしきい値（例：GPT-3で使用された13-gramしきい値）の公開開示によって、モデルが特定の学習サンプルを記憶していないことを証明することです。