斯坦福法學研究:AI 在法律輔導中勝過法學教授
AI 生成的答案優於人類同儕回應
由斯坦福法學院的 Julian Nyarko 教授領導的研究顯示,法學教授壓倒性地偏好 AI 生成的學生問題答案,而非由同儕教師撰寫的回應。在近 3,000 份匿名比較的盲測中,AI 贏得了 75% 的正面對決,暗示大型語言模型(LLM)能有效擔任合約法等複雜科目的導師。
此發現重要,因為法律推理需要細緻的判斷與在模糊情況中導航的能力,而非僅僅是事實回憶。根據研究,教授將 AI 回應標記為「教學有害」的比例僅為 3.5%,而同儕撰寫的答案則為 12%。
研究方法與範圍
研究團隊包括耶魯、大學、紐約大學以及芝加哥大學的同事,聚焦於 AI 作為法學學生導師的潛力。研究使用了 16 位法學教授,這些教授設計了 40 個具代表性的合約法問題,這些問題是學生在辦公時間常見的詢問。這些教授在不知答案是由 AI 還是人類同儕生成的情況下評估回應。
為確保有效性,研究人員將 AI 回應校準至與人類答案在長度與結構上相匹配。研究測試了多種模型,包括 Google 的 NotebookLM 與 Gemini 2.5 Pro,結果發現 NotebookLM(使用了額外的法律資源)被評估者認為略優。
對法律教育的影響
雖然結果顯示 AI 能符合法律教育者用以評估論點的專業標準,研究人員強調這並不主張全面取代人類教師。Nyarko 教授警告說,討論應從 AI 能否提供高品質回應,轉向如何負責任地部署這些工具以惠及學生。
該研究的第一作者 Alejandro Salinas 指出,AI 導師能提供高品質、隨時可得的支援,補充課堂教學,並有可能擴大在判斷密集領域獲得專家指導的機會。
批判性分析與反駁點
儘管結果正面,該研究仍受到技術與法律社群對其方法論與結論的批評:
統計與方法論疑慮
批評者認為 16 位教授的樣本規模過小,無法提供有意義的統計效力。有觀察者指出,結果可能受到特定因素的偏斜:
- 答案長度偏差: 有分析師認為答案長度是勝率的強預測因子,且教授被指示要簡潔,可能產生較短、較不完整的答案,較 AI 為劣。
- 模型選擇: 有人擔憂結果主要以 Google 模型為主,可能導致偏見。
- 訓練資料重疊: 有人認為 AI 可能已在產生問題的教科書上進行過訓練,使任務變成回憶而非推理。
實務與倫理風險
從業者的討論突顯了學術輔導與專業法律實務之間的差異:
- 問責制: 持續的關注點是責任問題。若 AI 提供錯誤的法律建議,尚無明確的責任歸屬框架。
- 推理與幻覺: 批評者指出,LLM 在交叉詢問時無法說明其陳述的根本依據,且可能產生幻覺來源或依賴過時的法規。
- 學術與實務: 有從業者認為,法學教授的偏好反映學術與理論推理,與私人法律實務的需求有顯著差異。
"法律學術界應該對事物持有超前的觀點,並對問題提出新穎的哲學答案……它並未揭示太多新資訊。"
可及性潛力
相反地,有人將此發展視為民主化法律知識的途徑。透過降低法律培訓成本並提供「第一道」輔導工具,AI 可使無法負擔昂貴法律顧問的人也能更容易接觸法治。