リチャード・ボーチャーズ氏、UCバークレーで宿題の採点を中止 — AIが正確性チェックを無意味にする

UCバークレーの数学教授でフィールズ賞受賞者のリチャード・ボーチャーズ氏は、学生の宿題を正確性で採点することをやめた。多くの学生がAIを使って一貫して最高得点を獲得しているのを見た後、彼は採点者に宿題の正確性をチェックさせる「意味はない」と結論付けた。彼のコースでのAI利用は今や避けられないからだ。

リチャード・ボーチャーズ氏がUCバークレーの数学コースで変えたこと

ボーチャーズ氏は現在、宿題を完了ベースで採点している。課題を提出した学生は単位を得る。彼はこの取り決めは「あまり良いシステムではない」と述べつつ、現時点では代替手段がないと語った。

この変更は、キャンパスの規則ではなく、測定の失敗によって引き起こされた。AI支援の提出物が確実に最高得点を生み出すため、人間の採点者に正確性をチェックさせることは、学生が実際に学んだことについての有用な情報を生み出さなくなった。

ボーチャーズ氏、人間の数学者がAIより優れていることはすぐに何もなくなると語る

「AIが現在のペースで改善し続ければ、数年後には、人間の数学者ができることでAIがより上手くできないことは何もなくなるだろう」とボーチャーズ氏は語った。

教授は、学生に数学科への進学を勧めるべきかどうか、もはや分からないと述べた。5年前は、数学者になることがAIブームから最も安全なキャリアの一つであるように思われたが、その評価はもはや成り立たない。

「何をアドバイスすればいいのか見当もつかない。この正確な質問をChatGPTに尋ねたことさえあるが、ChatGPTでさえ何が起こるか分からないと言った」と彼は語った。

ボーチャーズ氏はまた、教育機関はテクノロジーに遅れを取るだろうと予測した。彼は学術システムには豊富な「慣性」があると述べ、AIの発展にもかかわらず、数学科で数年間状況が変わらないとしても驚かないだろうと語った。彼はこの状況を、物理的な紙のジャーナルに例えた。彼はそれらを20年間「完全に無意味」と考えているが、それでも出版され続けている。

彼はこの瞬間を歴史的に異例なものとして捉えた：

「過去には多くの技術的進歩があった — 手織りは織機によって廃業し、馬は自動車によって廃業した、など。しかし、数学でこのようなことが起こったのはこれが初めてだ。」

UCバークレーの方針が実際にコースワークにおけるAIについて述べていること

UCバークレーは、コースワークでのAI使用を義務付けたり禁止したりするキャンパス全体の規則を課していない。クラスのAI方針は、それを教える教員の裁量に委ねられている。

学部教育担当副プロヴォスト兼最高学術技術責任者のアン・マリー・リチャード氏によると、バークレー校の学術評議会は、コースワークでのAIツールの使用を含むコースの期待事項について、教員がシラバスに記載することを求めている。リチャード氏は、AI使用に関する直接的な方針は、コースのレベルや専門分野によって大きく異なると述べた。

UCバークレーは、TurnitinやRumiを含むいくつかのAI検出ツールを試してきたが、これらのツールはキャンパス全体で標準化するには十分ではないと判断した。その代わりに、キャンパスはAIツール、トレーニング、方針のキャンパスディレクトリであるAI Hubに、教員がシラバスで使用できるサンプルAI使用声明のデータベースを拡充している。

インタビューのきっかけ：OpenAIが主張するナビエ・ストークス方程式の結果

ボーチャーズ氏は、OpenAIがAIエージェントが数学の最も難しい未解決問題の一つであるナビエ・ストークス方程式の存在と滑らかさの問題を解決したと発表した後に行われた座談会で、この採点変更を明らかにした。デイリー・カリフォルニアン紙のその発表に関する報道は「どうやら」という言葉を使用し、関連記事ではUCバークレーの数学コミュニティがその証明の主張を受けて岐路に立たされていると述べた。

Hacker Newsの議論：宿題の採点はすでに壊れていた

この記事に関するHacker Newsのスレッド（176ポイント、257コメント）は、この変更を取引的な採点モデルへの待望の修正と見る読者と、学生の学習にとっての本当の損失と見る読者に分かれた。

宿題のポイントは常に取引であり、AIがそのコストを露呈した

最も支持された議論は、宿題の採点はAIよりずっと前から弱い測定だったというものだ。コメンテーターのparsimo2010は皮肉を指摘した：ボーチャーズ氏はそもそも自分で宿題を採点しておらず、アシスタントに採点を支払っていた — これはグラントマネーと大学院生を持つ終身教授の一般的な慣行だ。

「あなたの授業料を20ドルのサブスクリプションで無意味にされない新しい取引構造を考え出さなければならない。」

そのコメンテーターが提案した修正は、宿題の採点を完全にやめ、成績の100%をAIツールに対する何らかのファイアウォールを備えた監視付き評価に置くことだった。その変更によって不利になる学生は、おそらく高級AIサブスクリプションを宿題に使用するクラスメートによっても不利になっていると主張した。

試験、口頭試問、対面評価の主張

複数のコメンテーターが、信頼できる修正は評価を監督付きの環境に移すことだと主張した：

jruohonenは、筆記または口頭のクラス内試験を推奨し、宿題をしないことはその後の学生自身にのみ反映されると述べた。
grey-areaは、宿題に0点、試験と口頭試問に全点を割り当て、フィードバックは依然として提供されるが成績にはカウントしないことを提案した。
教えているremywangは、対面の小テストが学生に宿題をする動機を与えると述べた。なぜならそれは小テストの準備になるからだ。
oldsklgdfthは、2006年の高校の物理教師が宿題を提出するだけで単位を与え、成績を付けなかったことを思い出し、バークレーのような学校では「教授が質問するためのオフィスアワーを持っている」と述べた。

複数のコメンテーターがこの問題はAIより前から存在したと指摘

VyseofArcadiaは、10年前にWolfram Alphaが存在したため、学部低学年レベルでの宿題の採点にはすでに意味がなく、大学院レベルのコースはムーア方式のクラスで処理されるかもしれないと述べた。そこでは学生がスライドではなく黒板で発表し、教授が批評する。
jasonjmcgheeは、バークレーの多くの教授が自分たちが在学中は宿題を成績の一部として使用しておらず、中間試験と期末試験が成績の100%を占めていたと述べた。
TrackerFFはノルウェーのモデルを説明した：宿題には点数やポイントが一切なく、最終成績は完全に筆記の期末試験または試験とプロジェクトの組み合わせに基づき、必須の宿題は最終試験の資格を得るためだけに使用される。ティーチングアシスタントとして、そのコメンテーターは明らかなカンニング（同一のステップバイステップの解答と同一の誤り）を見たが、宿題でのカンニングは成績に影響しないと述べた。
bubblethinkは、宿題やエッセイを採点する意味はなく、インドと中国はすでに標準化テストと対面試験に依存しており、大学はIQフィルタリングの代理であると主張した。

反論：AIも採点でき、誰でも利用できる

コメンテーターのperi-clは、自宅での採点を壊す同じテクノロジーがフィードバックを民主化すると主張した：

「AIは現在、ポスドクの精度と厳密さで純粋数学の問題を採点できる。そしてPhDチューターとは異なり、誰にでも普遍的にアクセス可能だ。好奇心旺盛な独学者にとって黄金時代の始まりだ。」

この見解では、数学の教科書を進めている学生は、試みた定理と証明をモデルに提出し、誤解や厳密さの欠如を即座に明らかにすることができる。

教授の枠組みに対する懐疑

すべてのコメンテーターがこの枠組みを受け入れたわけではない。コメンテーターのtzmakeは、ボーチャーズ氏は少なくとも2024年からEpoch AIと協力しており、織機と馬についての標準的なトークポイントを発信しながら、状況を予見できなかったと主張していると述べ、彼を「タオと同じくAIの売込み屋」と呼んだ。これはスレッド内のコメンテーターの主張であり、デイリー・カリフォルニアン紙の報道によって裏付けられていない。

学習損失の議論

他のコメンテーターは、宿題のシグナルが消えると何が失われるかに焦点を当てた：

vhiremath4は、ピアツーピアのカンニングでさえ誰かが宿題をする必要があり、それが強制力として機能していたが、AIはそれを完全に取り除くと主張した。そのコメンテーターは、特に18〜20歳の学生のコホートは「少し鞭が必要」だから試験でうまくいかないだろうと述べた。
analog31はこの変化を一文でまとめた：「AIが数学者に取って代わったかどうかはまだ分からない。しかし、AIが宿題や試験問題を解けるなら、それはAIが学生に取って代わったことを意味する。」
bananaflagは、宿題や期末試験以外のものを採点したことがなく、学生にAIを使う動機がなかったと述べ、教室での言葉を提供した：「AIは私があなたに教えることを置き換えることはできるが、あなたが教材を理解することを置き換えることはできない。」
thenoblesunfishは、人々は数学と、それを十分に理解して説明できるようになることに本質的に興味を持ち続けるだろうと主張し、教育の目的を再考するのではなく、学生を評価する新しい方法を見つけることが課題だと述べた。
p0w3n3dは、低技術のチェックを提案した：学生に宿題について直接質問し、それについて答えられない学生を罰する。
arjieは、大学生の宿題を採点する意味がそもそも何なのか疑問視し、単一の数字を2つの認定成績に分割することを提案した — 出席によって測定される誠実さと試験によって測定される習熟度。
proc0は、企業が独自の拡張トレーニングを運営し、高校卒業者を雇うことができるようになったので、高等教育は産業スキルトレーニングではなく学問に戻るべきだと示唆した。
オンラインCS学生のmkl95は、私たちが知っている高等教育は10年以内に絶滅に直面しており、効率的に教育する真にエリート大学だけが生き残る価値があると主張した。

リチャード・ボーチャーズ氏とは誰か

リチャード・ボーチャーズ氏はUCバークレーの数学教授であり、フィールズ賞受賞者である。HNコメンテーターのseanhunterによると、彼はコンウェイとノートンの「モンストラス・ムーンシャイン」予想を証明したことで最もよく知られている — モジュラー関数とモンスター群の表現との間の対応である。この予想が1970年代になされたとき、それは特定の数がモンスター群の基数と一致するという観察に基づいており、これはジョン・H・コンウェイが遊び心を持って「ムーンシャイン」と呼んだ明らかな偶然であり、予想の名前の由来となっている。ボーチャーズ氏はまた、数論、圏論、その他のトピックに関する講義を提供するYouTubeチャンネルを運営している。

重要なポイント

UCバークレーの数学教授でフィールズ賞受賞者のリチャード・ボーチャーズ氏は、AI支援の提出物が一貫して最高得点を獲得したため、宿題を正確性で採点するのをやめ、現在は完了に対して単位を与えている。
ボーチャーズ氏は完了ベースの採点を「あまり良いシステムではない」と呼び、現在は代替手段がないと述べた。
彼は、AIが現在のペースで改善し続ければ、すぐに人間の数学者がAIより優れていることは何もなくなり、学生にどのようなキャリアアドバイスを与えるべきか分からないと述べた。
UCバークレーはコースワークに関するキャンパス全体のAI規則を設定していない。学術評議会は教員にシラバスでAIの期待事項を述べるよう求めており、TurnitinやRumiなどの検出ツールはキャンパス全体での標準化には不十分と判断され、教員はキャンパスのAI HubからサンプルAI声明を引き出すことができる。
このインタビューは、OpenAIがAIエージェントがナビエ・ストークス方程式の存在と滑らかさの問題を解決したと発表した後に行われた。
Hacker Newsのコメンテーターは、宿題の採点は常に弱い取引的な測定であり、AIがそれを露呈しただけだと述べる人々、すべての重みを監視付き試験と口頭試問に移すことを提案する人々、そして宿題のインセンティブをなくすと段階的な締め切りに頼って学ぶ学生のコホートにコストがかかると主張する人々に分かれた。