Richard Borcherds, UC Berkeley에서 AI가 정답 확인을 무의미하게 만들자 숙제 채점 중단

UC Berkeley 수학 교수이자 필즈상 수상자인 Richard Borcherds는 더 이상 학생들의 숙제를 정답 여부로 채점하지 않습니다. 많은 학생들이 AI를 사용해 지속적으로 최고 점수를 받는 것을 본 후, AI 사용이 자신의 강의에서 이제 불가피해졌기 때문에 숙제의 정답 여부를 채점하는 사람에게 돈을 지불할 "의미가 없다"고 결론지었습니다.

Richard Borcherds가 UC Berkeley 수학 강의에서 변경한 내용

Borcherds는 이제 숙제를 제출 여부로 채점합니다: 과제를 제출한 학생은 학점을 받습니다. 그는 이러한 방식이 "그다지 좋은 시스템은 아니지만" 현재로서는 대안이 없다고 말했습니다.

이 변경은 캠퍼스 규칙 때문이 아니라 측정 실패에 의해 추진되었습니다. AI 지원 제출물이 안정적으로 최고 점수를 받았기 때문에, 인간 채점자에게 정답 여부를 확인하도록 돈을 지불하는 것은 학생들이 실제로 배운 것에 대한 유용한 정보를 더 이상 생성하지 못했습니다.

Borcherds는 곧 인간 수학자가 AI보다 잘할 수 있는 일은 없을 것이라고 말함

"AI가 현재 속도로 계속 발전한다면, 몇 년 안에 인간 수학자가 할 수 있는 일 중 AI가 더 잘하지 못할 일은 없을 것입니다,"라고 Borcherds는 말했습니다.

교수는 이제 학생들에게 수학과에 진학하도록 권장해야 할지조차 모르겠다고 말했습니다. 5년 전만 해도 수학자가 되는 것이 AI 붐에서 가장 안전한 직업 중 하나로 보였다고 그는 말했습니다. 그 평가는 더 이상 유효하지 않습니다.

"무엇을 조언해야 할지 전혀 모르겠습니다. 이 정확한 질문을 ChatGPT에게도 물어봤는데, ChatGPT조차 무슨 일이 일어날지 전혀 모른다고 말했습니다,"라고 그는 말했습니다.

Borcherds는 또한 기관들이 기술보다 뒤처질 것이라고 예측했습니다. 그는 학계 시스템에 풍부한 "관성"이 있다고 설명하며, AI 발전에도 불구하고 수학과에서 몇 년 동안 상황이 그대로 유지되어도 놀라지 않을 것이라고 말했습니다. 그는 이 상황을 물리적 종이 저널에 비유했는데, 그 저널들은 그가 20년 동안 "완전히 무의미하다"고 생각함에도 계속 출판되고 있습니다.

그는 이 순간을 역사적으로 특별한 것으로 규정했습니다:

"과거에도 기술적 돌파구는 많았습니다 — 손으로 하는 직조는 베틀에 의해, 말은 자동차에 의해 사라졌습니다. 그러나 이것은 수학에서 이런 일이 처음 있는 일입니다."

UC Berkeley 정책이 과제에서 AI 사용에 대해 실제로 말하는 것

UC Berkeley는 과제에서 AI 사용을 요구하거나 금지하는 캠퍼스 차원의 규칙을 부과하지 않습니다; 수업의 AI 정책은 그 수업을 가르치는 교수진의 재량에 달려 있습니다.

학술원 버클리 분과는 교수진이 강의 계획서에 과정 기대치(과제에서 AI 도구 사용 포함)에 대한 진술을 포함하도록 요청한다고 Anne Marie Richard 학부 교육 부교무처장 겸 최고 학술 기술 책임자가 말했습니다. Richard는 AI 사용에 대한 직접적인 정책은 과정 수준과 전문 분야에 따라 크게 다를 수 있다고 말했습니다.

UC Berkeley는 Turnitin과 Rumi를 포함한 여러 AI 탐지 도구를 시도했지만, 이러한 도구가 캠퍼스 전체에 표준화하기에는 충분하지 않다고 판단했습니다. 대신, 캠퍼스는 교수진이 강의 계획서에 사용할 수 있도록 AI 도구, 교육 및 정책에 대한 캠퍼스 디렉토리인 AI Hub에 샘플 AI 사용 진술문 데이터베이스를 계속 확장하고 있습니다.

인터뷰의 계기: OpenAI가 주장한 Navier-Stokes 결과

Borcherds는 OpenAI가 AI 에이전트가 수학에서 가장 어려운 미해결 문제 중 하나인 Navier-Stokes 존재성과 매끄러움 문제를 해결한 것으로 보인다고 발표한 후 진행된 좌담 인터뷰에서 자신의 채점 변경을 공개했습니다. Daily Californian의 해당 발표에 대한 자체 보도는 "apparently"라는 단어를 사용했으며, 함께 실린 Daily Californian 기사는 UC Berkeley 수학 커뮤니티가 주장된 증명 이후 갈림길에 서 있다고 설명했습니다.

Hacker News 토론: 숙제 채점은 이미 깨져 있었다

이 이야기에 대한 Hacker News 스레드(176점, 257개 댓글)는 이 변경을 거래적 채점 모델에 대한 늦은 수정으로 본 독자들과 학생 학습에 대한 실질적인 손실로 본 독자들로 나뉘었습니다.

숙제 점수는 항상 거래였고, AI가 그 비용을 드러냈다

가장 많은 지지를 받은 논지는 숙제 채점이 AI 이전부터 약한 측정이었다는 것입니다. 댓글러 parsimo2010은 역설을 지적했습니다: Borcherds는 애초에 숙제를 직접 채점하지 않고 조교에게 채점을 맡겼습니다 — 연구비와 대학원생이 있는 정교수에게 흔한 관행입니다.

"$20 구독으로 등록금이 무의미해지지 않도록 새로운 거래 구조를 고안해야 합니다."

그 댓글러가 제안한 해결책은 숙제 채점을 완전히 중단하고 성적의 100%를 AI 도구에 대한 일종의 방화벽이 있는 감독 하에 평가에 두는 것이었습니다. 그 변경으로 불이익을 받는 학생은 아마도 집에서 하는 과제에 프리미엄 AI 구독을 사용하는 급우들로 인해 불이익을 받는 학생일 것이라고 주장했습니다.

시험, 구술 시험, 대면 평가의 필요성

여러 댓글러는 신뢰할 수 있는 해결책은 평가를 감독 환경으로 옮기는 것이라고 주장했습니다:

jruohonen은 필기 또는 구술 시험을 추천하며, 숙제를 하지 않으면 그 결과는 오직 학생 자신에게만 반영된다고 지적했습니다.
grey-area는 숙제에 0점, 시험과 구술 시험에 모든 점수를 부여하고 피드백은 여전히 제공하되 성적에는 포함하지 않을 것을 제안했습니다.
교사인 remywang은 대면 퀴즈가 학생들이 어차피 숙제를 하도록 동기를 부여한다고 말했습니다. 퀴즈 준비가 되기 때문입니다.
oldsklgdfth는 2006년 고등학교 물리 교사가 숙제를 제출하기만 하면 성적을 주지 않고 점수를 주었던 사례를 회상하며, Berkeley 같은 학교에서는 "교수님께 질문할 수 있는 office hours가 있다"고 언급했습니다.

여러 댓글러는 이 문제가 AI 이전에 존재했다고 지적

VyseofArcadia는 10년 전에도 Wolfram Alpha가 있었기 때문에 학부 저학년 수준에서 숙제를 채점할 의미가 이미 없었다고 말하며, 대학원 수준 과정은 학생들이 슬라이드 대신 칠판에서 발표하고 교수가 비평하는 무어 스타일 수업으로 처리될 수 있다고 제안했습니다.
jasonjmcghee는 Berkeley에서 많은 교수들이 자신들이 다닐 때 숙제를 성적에 포함하지 않았고 중간고사와 기말고사가 성적의 100%를 차지했다고 말했습니다.
TrackerFF는 노르웨이 모델을 설명했습니다: 숙제에 점수나 포인트가 전혀 없고, 최종 성적은 전적으로 필기 시험 또는 시험과 프로젝트의 혼합으로 결정되며, 필수 숙제는 최종 시험에 응시할 자격을 얻는 데만 사용됩니다. 그 댓글러는 조교로서 명백한 부정행위(동일한 단계별 풀이와 동일한 오류)를 목격했지만, 숙제에서의 부정행위는 성적에 도움이 될 수 없다고 지적했습니다.
bubblethink은 숙제나 에세이를 채점할 의미가 없다고 주장하며, 인도와 중국은 이미 표준화 시험과 대면 시험에 의존하고 있으며, 대학은 IQ 필터링의 대리자 역할을 한다고 말했습니다.

반론: AI도 채점할 수 있고, 모든 사람이 이용할 수 있다

댓글러 peri-cl은 집에서 하는 채점을 무너뜨리는 동일한 기술이 피드백도 민주화한다고 주장했습니다:

"AI는 이제 박사후 연구원 수준의 정확성과 엄격함으로 순수 수학 문제를 채점할 수 있습니다. 그리고 박사 과정 튜터와 달리 모든 사람이 접근할 수 있습니다. 호기심 많은 독학자에게는 황금 시대의 시작입니다."

이 관점에서, 수학 교과서를 공부하는 학생은 모델에 정리와 증명 시도를 제출하고 오개념과 엄격함의 부족을 즉시 발견할 수 있습니다.

교수의 프레임에 대한 회의론

모든 댓글러가 이 프레임을 받아들인 것은 아닙니다. 댓글러 tzmake는 Borcherds가 적어도 2024년부터 Epoch AI와 협력해 왔으며, 상황을 예측할 수 없었다고 주장하면서 베틀과 말에 대한 표준적인 이야기를 하고 있다고 주장하며 그를 "Tao처럼 AI 홍보꾼"이라고 불렀습니다. 이는 스레드에서 한 댓글러의 주장일 뿐이며 Daily Californian 보도에 의해 확인되지 않았습니다.

학습 손실 논쟁

다른 댓글러들은 숙제 신호가 사라질 때 무엇이 사라지는지에 집중했습니다:

vhiremath4는 동료 간 부정행위조차도 누군가가 숙제를 해야 했고, 그것이 강제 기능으로 작용했지만 AI가 그것을 완전히 제거한다고 주장했습니다. 그 댓글러는 특히 18-20세 학생 집단은 "약간의 채찍"이 필요하기 때문에 시험을 잘 보지 못할 것이라고 말했습니다.
analog31은 변화를 한 줄로 요약했습니다: "AI가 수학자를 대체했는지는 아직 모릅니다. 그러나 AI가 숙제와 시험 문제를 풀 수 있다면, 그것은 AI가 학생을 대체했다는 뜻입니다."
bananaflag는 숙제나 기말고사 외에는 아무것도 채점한 적이 없어서 학생들이 AI를 사용할 유인이 없었다고 말하며, 수업 시간에 이런 말을 한다고 전했습니다: "AI가 나를 대신해 가르칠 수는 있지만, 당신이 자료를 이해하는 것을 대신할 수는 없습니다."
thenoblesunfish는 사람들은 수학 자체와 무언가를 설명할 수 있을 만큼 잘 이해하는 것에 본질적으로 관심을 가질 것이므로, 교육의 목적을 재고하는 것이 아니라 학생을 평가할 새로운 방법을 찾는 것이 과제라고 주장했습니다.
p0w3n3d는 간단한 저기술 확인을 제안했습니다: 학생들에게 숙제에 대해 직접 질문하고 답하지 못하는 학생에게 불이익을 주는 것입니다.
arjie는 대학생 숙제를 채점하는 것이 도대체 무슨 의미가 있는지 묻고, 단일 숫자를 두 개의 인증된 성적으로 나누자고 제안했습니다 — 출석으로 측정하는 성실성과 시험으로 측정하는 숙달.
proc0는 고등 교육이 산업 기술 훈련이 아닌 학문에 관한 것이어야 한다고 제안했습니다. 기업이 이제 자체 확장 교육을 운영하고 고등학교 졸업생을 고용할 수 있기 때문입니다.
온라인 CS 학생인 mkl95는 우리가 아는 고등 교육이 10년 안에 멸종에 직면할 것이라고 말하며, 효율적으로 교육하는 진정한 엘리트 대학만이 살아남을 자격이 있다고 주장했습니다.

Richard Borcherds는 누구인가

Richard Borcherds는 UC Berkeley 수학 교수이자 필즈상 수상자입니다. HN 댓글러 seanhunter에 따르면, 그는 Conway와 Norton의 "Monstrous Moonshine" 추측을 증명한 것으로 가장 잘 알려져 있습니다 — 모듈러 함수와 몬스터 군의 표현 사이의 대응 관계입니다. 1970년대에 이 추측이 제기되었을 때, 특정 숫자가 몬스터 군의 크기와 일치한다는 관찰에 기반했으며, 이는 John H. Conway가 농담 삼아 "Moonshine"이라고 부른 우연의 일치였고, 이것이 추측 이름의 유래입니다. Borcherds는 또한 정수론, 범주론 및 기타 주제에 대한 강의를 제공하는 YouTube 채널을 운영하고 있습니다.

주요 시사점

UC Berkeley 수학 교수이자 필즈상 수상자인 Richard Borcherds는 AI 지원 제출물이 지속적으로 최고 점수를 받았기 때문에 숙제를 정답 여부로 채점하는 것을 중단하고 이제 제출 여부로 학점을 부여합니다.
Borcherds는 제출 기반 채점을 "그다지 좋은 시스템은 아니다"라고 말하며 현재 대안이 없다고 말했습니다.
그는 AI가 현재 속도로 계속 발전한다면 곧 인간 수학자가 AI보다 잘할 수 있는 일은 없을 것이며, 학생들에게 어떤 진로 조언을 해야 할지 모르겠다고 말했습니다.
UC Berkeley는 과제에 대한 캠퍼스 차원의 AI 규칙을 설정하지 않습니다; 학술원은 교수진이 강의 계획서에 AI 기대치를 명시하도록 요청하며, Turnitin 및 Rumi와 같은 탐지 도구는 캠퍼스 전체 표준화에 부적합하다고 판단되었고, 교수진은 캠퍼스 AI Hub에서 샘플 AI 사용 진술문을 가져올 수 있습니다.
인터뷰는 OpenAI가 AI 에이전트가 Navier-Stokes 존재성과 매끄러움 문제를 해결한 것으로 보인다고 발표한 이후에 이루어졌습니다.
Hacker News 댓글러들은 숙제 채점이 항상 약하고 거래적인 측정이었으며 AI가 그것을 드러냈다고 말하는 사람들, 모든 비중을 감독 하에 시험과 구술 시험으로 옮기자고 제안하는 사람들, 그리고 숙제 인센티브를 제거하면 점진적인 마감일에 의존하는 학생 집단에게 손해가 될 것이라고 주장하는 사람들로 나뉘었습니다.

요약

UC Berkeley 수학자이자 필즈상 수상자인 Richard Borcherds는 학생들이 AI를 사용해 지속적으로 최고 점수를 받은 후 더 이상 숙제를 정답 여부로 채점하지 않고 제출 여부로만 학점을 부여합니다; 그는 AI가 현재 속도로 계속 발전한다면 곧 인간 수학자가 AI보다 잘할 수 있는 일은 없을 것이라고 말합니다.