Anthropic 교육 보고서: 대학생들의 Claude 사용 방식 — 주요 결과
Anthropic은 Claude.ai에서 약 백만 건의 익명화된 학생 대화를 분석한 교육 보고서를 발표했습니다. 이는 설문 조사나 통제된 실험이 아닌 실제 학업 환경에서 학생들이 AI를 어떻게 사용하는지에 대한 최초의 대규모 연구 중 하나입니다. 가장 눈에 띄는 결과는 STEM 학생, 특히 컴퓨터 과학 전공 학생들이 가장 먼저, 그리고 가장 많이 채택하고 있으며, 학생들은 종종 더 높은 인지 작업(창작 및 분석)을 모델에 위임한다는 것입니다.
이 보고서가 중요한 이유
교육에서 AI에 대한 기존의 논의는 대부분 설문 조사와 통제된 실험에 의존했으며, 학생들이 학업 작업에 AI를 어떻게 자연스럽게 통합하는지에 대한 직접적인 증거는 부족했습니다. Anthropic은 실제 사용량을 대규모로 연구함으로써 이러한 격차를 메우는 것으로 교육 보고서를 설명합니다.
"AI 시스템은 더 이상 전문적인 연구 도구에 그치지 않습니다. 일상적인 학업 동반자입니다."
보고서의 명시된 목적은 AI가 교육 환경에 더 깊이 통합됨에 따라 학습, 평가, 기술 개발에 관한 질문에 정보를 제공하는 것입니다.
방법론: Clio와 데이터 세트
이 연구는 사람들이 Claude를 어떻게 사용하는지에 대한 통찰력을 제공하는 Anthropic의 자동 분석 도구인 Claude Insights and Observations("Clio")를 사용했습니다. Clio는 하향식으로 작동하여 사용자 대화를 "코드 문제 해결" 또는 "경제 개념 설명"과 같은 높은 수준의 사용 요약으로 추출합니다.
Clio는 대화에서 개인 사용자 정보를 제거하는 다층적이고 자동화된 프로세스를 사용합니다. Anthropic은 이 프로세스가 한 계층에서 다음 계층으로 전달되는 정보를 최소화하도록 구축되었다고 밝히며, 이전 블로그 게시물에서 Clio의 개인 정보 보호 우선 설계를 설명합니다.
분석 파이프라인은 다음과 같습니다.
- 고등 교육 이메일 주소와 연결된 Claude.ai Free 및 Pro 계정의 약 백만 건의 익명화된 대화.
- 학생 및 학업 관련성 필터링 — 예: 대화가 교과 과정 또는 학술 연구와 관련이 있는지 여부 — 결과적으로 574,740건의 대화가 도출됨.
- Clio로 그룹화하여 주제 표현, 학생- AI 상호 작용 방식, 위임된 인지 작업에 대한 교육 관련 집계 통찰력 도출.
학생들이 Claude를 사용하는 용도
학생들은 주로 학습 콘텐츠를 만들고 개선하는 데 Claude를 사용하며(대화의 39.3%), 여기에는 연습 문제 설계, 에세이 편집, 학술 자료 요약이 포함됩니다. 두 번째로 큰 범주는 학업 과제에 대한 기술적 설명 또는 솔루션(33.5%)으로, 코딩 과제의 디버깅 및 오류 수정, 프로그래밍 알고리즘 및 데이터 구조 구현, 수학 문제 설명 또는 해결이 포함됩니다.
나머지 사용 방식은 다음과 같이 분류됩니다.
| 사용 사례 | 대화 비율 |
|---|---|
| 교육 콘텐츠 생성 및 개선 | 39.3% |
| 과제에 대한 기술적 설명 또는 솔루션 | 33.5% |
| 데이터 분석 및 시각화 | 11.0% |
| 연구 설계 및 도구 개발 지원 | 6.5% |
| 기술 다이어그램 생성 | 3.2% |
| 언어 간 콘텐츠 번역 또는 교정 | 2.4% |
Anthropic은 이러한 사용 중 일부가 부정행위에 해당할 수도 있으며, 보고서에서 별도로 논의한다고 밝힙니다.
학문 분야별 채택: 컴퓨터 과학이 지배적
STEM 학생들은 Claude와 같은 AI 도구의 얼리 어답터입니다. 컴퓨터 과학 학생들은 특히 과대 대표됩니다. 보고서의 주요 결과에 따르면, 컴퓨터 과학 학생들은 미국 학위의 5.4%만 차지하면서 학생 대화의 36.8%를 차지합니다. 학문 분야별 분석 섹션에서 보고서는 컴퓨터 과학이 Claude.ai에서 대화의 38.6%를 차지했다고 밝힙니다.
비대칭적 사용을 측정하기 위해 Anthropic은 NCES(National Center for Education Statistics) 주제 영역을 사용하여 Claude.ai 사용 패턴을 미국 학사 학위 수여 건수와 비교했습니다.
| 주제 영역 | Claude.ai 대화 비율 | 미국 학사 학위 비율 |
|---|---|---|
| 컴퓨터 과학 | 38.6% | 5.4% |
| 자연 과학 및 수학 | 15.2% | 9.2% |
| 비즈니스 | 8.9% | 18.6% |
| 보건 직종 | 5.5% | 13.1% |
| 인문학 | 6.4% | 12.5% |
비즈니스, 보건, 인문학 학생들은 등록 인원에 비해 낮은 채택률을 보입니다. Anthropic은 이러한 패턴이 STEM 학생, 특히 컴퓨터 과학 전공자가 교육 목적으로 Claude를 더 일찍 채택했을 수 있음을 시사하는 반면, 비즈니스, 보건, 인문학 학생들은 이러한 도구를 학업 워크플로우에 더 천천히 통합하고 있을 수 있다고 제안합니다. 보고서는 두 가지 가능한 설명을 제시합니다: 컴퓨터 과학 커뮤니티에서 Claude에 대한 인지도가 높고, AI 시스템이 다른 분야의 학생들이 수행하는 작업보다 STEM 학생들이 수행하는 작업에서 더 뛰어난 성능을 보인다는 것입니다.
학생-AI 상호 작용의 네 가지 패턴
Anthropic은 두 가지 축을 따라 분류된 네 가지 학생-AI 상호 작용 패턴을 식별했습니다. 첫 번째 축은 상호 작용 방식입니다: 사용자가 가능한 한 빨리 질문을 해결하려는 직접 대화와 사용자가 모델과 적극적으로 대화를 시도하는 협업 대화입니다. 두 번째 축은 원하는 결과입니다: 사용자가 솔루션이나 설명을 찾는 문제 해결과 사용자가 프레젠테이션이나 에세이와 같은 더 긴 결과물을 생성하려는 출력 생성입니다.
축을 결합하면 네 가지 패턴이 생성됩니다:
- 직접 문제 해결
- 직접 출력 생성
- 협업 문제 해결
- 협업 출력 생성
이 네 가지 상호 작용 방식은 유사한 비율로 나타났으며, 각각 대화의 23%에서 29%를 차지했습니다. 보고서는 이는 학생들이 AI에 대해 갖는 다양한 용도를 보여준다고 말합니다. Anthropic은 이를 일반적으로 직접 답변만 제공하는 전통적인 웹 검색과 대조하며, AI 시스템이 훨씬 더 다양한 상호 작용을 가능하게 하고 새로운 교육 기회를 제공한다고 주장합니다.
보고서에 인용된 긍정적인 학습 사례는 다음과 같습니다:
- 철학적 개념과 이론 설명 및 명확화
- 포괄적인 화학 교육 자료 및 학습 자료 생성
- 학업 과제를 위한 근육 해부학, 생리학 및 기능 개념 설명
부정행위 문제
Anthropic은 각 Claude 응답의 특정 교육적 맥락을 알 수 없기 때문에 학생들이 AI를 사용하여 부정행위를 하는 정도를 측정하기 어렵다고 직접 밝힙니다. 보고서는 이러한 모호성을 설명하기 위해 짝을 이루는 예를 제시합니다: 직접 문제 해결 대화는 집에서 치르는 시험에서 부정행위를 하는 것일 수도 있고, 연습 시험에서 자신의 작업을 확인하는 것일 수도 있습니다. 직접 출력 생성 대화는 에세이를 처음부터 작성하는 것일 수도 있고, 추가 연구를 위한 지식 요약을 생성하는 것일 수도 있습니다. 협업 대화가 부정행위를 구성하는지 여부는 특정 과정 정책에 따라 달라질 수 있습니다.
학생-AI 대화의 거의 절반(~47%)은 최소한의 참여로 답변이나 콘텐츠를 찾는 직접 대화였습니다. Anthropic은 이러한 대화 중 상당수가 개념적 질문이나 학습 가이드 생성과 같은 정당한 학습 목적에 사용된다고 밝히지만, 보고서는 우려스러운 직접 대화 사례도 발견했습니다:
- 기계 학습 객관식 질문에 대한 답변 제공
- 영어 시험 문제에 대한 직접 답변 제공
- 표절 감지를 피하기 위해 마케팅 및 비즈니스 텍스트 재작성
보고서는 협업 대화조차도 의문스러운 학습 결과를 초래할 수 있다고 덧붙입니다. "설명과 함께 확률 및 통계 숙제 문제 풀기" 예를 인용하며, 여기에는 AI와 학생 간의 여러 대화 턴이 포함될 수 있지만 상당한 사고를 AI에 위임하는 것이라고 말합니다.
주제별 상호 작용 패턴
상호 작용 방식은 학문 분야에 따라 다르며, 보고서는 이는 AI 통합에 대한 교육적 접근 방식이 학문 분야별로 맞춤화되는 것이 유리할 수 있음을 시사한다고 말합니다.
- 자연 과학 및 수학 대화는 "단계별 계산으로 특정 확률 문제 풀기" 및 "단계별 설명으로 학업 숙제 또는 시험 문제 풀기"와 같은 문제 해결에 치우쳤습니다.
- 컴퓨터 과학, 공학, 자연 과학 및 수학은 협업 대화에 치우친 반면, 인문학, 비즈니스, 보건은 협업 대화와 직접 대화가 더 균등하게 분포되었습니다.
- 교육은 출력 생성에 가장 강한 선호를 보였으며, 대화의 74.4%를 차지했습니다. 교육은 전체 대화의 3.8%를 차지했습니다. Anthropic은 이러한 사용이 필터링 방법의 불완전성에서 비롯될 수 있다고 경고합니다: 이러한 대화 중 상당수는 "포괄적인 교육 자료 및 교육 리소스 생성" 및 "상세한 수업 계획 생성"을 포함하여 교사도 교육 지원을 위해 Claude를 사용하고 있음을 나타냅니다.
학생들이 AI에 위임하는 인지 작업
Anthropic은 교육에서 더 단순한 인지 과정부터 더 복잡한 인지 과정으로 분류하는 데 사용되는 계층적 프레임워크인 블룸의 분류학을 학생 자신의 사고가 아닌 학생과 대화할 때 Claude의 응답을 분석하는 데 적용했습니다.
보고서는 AI가 보여주는 블룸의 분류학 영역에서 역전된 패턴을 발견했습니다:
| 블룸의 분류학 영역 | 작업 비율 |
|---|---|
| 창작 | 39.8% |
| 분석 | 30.2% |
| 적용 | 10.9% |
| 이해 | 10.0% |
| 기억 | 1.8% |
이 분포는 상호 작용 방식에 따라 달라졌습니다. 학술 텍스트 요약이나 에세이 피드백 생성과 같은 출력 생성 작업은 더 많은 창작 기능을 포함했습니다. 미적분 문제 풀기나 프로그래밍 기초 설명과 같은 문제 해결 작업은 더 많은 분석 기능을 포함했습니다.
Anthropic은 AI 시스템이 이러한 기술을 보여주는 것이 학생들도 스스로 그 기술에 참여하는 것을 배제하지 않는다고 밝힙니다 — 예를 들어, 프로젝트를 공동 창작하거나 AI 생성 코드를 사용하여 다른 맥락에서 데이터 세트를 분석하는 경우가 있습니다. 그러나 보고서는 이는 학생들이 인지 능력을 AI에 아웃소싱하는 것에 대한 잠재적 우려를 지적하며, AI 시스템이 고차원 사고를 지원하는 데 필요한 기초 기술 개발을 저해하는 발판을 제공할 수 있다는 정당한 우려를 포함한다고 말합니다.
"결국, 역전된 피라미드는 무너질 수 있습니다."
연구의 한계
Anthropic은 연구 결과의 범위에 영향을 미치는 몇 가지 한계를 나열합니다:
- 데이터 세트는 초기 채택자를 포착할 가능성이 높으며 더 넓은 학생 인구를 대표하지 않을 수 있습니다.
- 교육에서 전체 AI 사용에 비해 Claude 사용이 얼마나 대표적인지는 불분명합니다. 많은 학생들이 Claude.ai 외에도 AI 도구를 사용하므로 보고서는 전체 AI 사용 패턴의 일부만 제시합니다.
- 대화를 분류하는 방식에 오탐과 미탐이 모두 있을 가능성이 있습니다. 분석은 고등 교육 이메일 주소와 연결된 계정에 의존했으므로 학생 관련으로 분류된 일부 대화는 실제로 교직원의 것일 수 있으며, 다른 학생 대화는 대학이 아닌 이메일 주소와 연결된 계정에 있을 가능성이 있습니다.
- 개인 정보 보호 고려 사항으로 인해 Anthropic은 단일 18일 보존 기간 내의 Claude.ai 사용량만 분석했습니다. 학생들의 사용량은 학업 일정이 변동함에 따라 연중 다를 수 있습니다.
- 이 연구는 학생들이 AI에 위임하는 작업만 조사하며, 학업 작업에서 AI 출력을 궁극적으로 어떻게 사용하는지 또는 이러한 대화가 학습 결과를 효과적으로 지원하는지 여부는 조사하지 않습니다.
- 학생-AI 대화를 학문 분야로 분류하는 것은 학제 간 작업을 완전히 포착하지 못할 수 있으며, 여기서 AI 사용 패턴이 크게 다를 수 있습니다.
- 블룸의 분류학을 학생이 아닌 AI의 인지 과정에 적용하는 것은 불완전합니다. 기억과 같은 기술은 AI 시스템의 맥락에서 정량화하기 어렵습니다.
Anthropic은 또한 교육에서 AI 사용에 대한 기관 정책이 크게 다르며 데이터 세트에서 측정할 수 없는 방식으로 관찰된 패턴에 상당한 영향을 미칠 수 있다고 언급합니다.
Anthropic의 교육 접근 방식 및 향후 계획
Anthropic은 이 보고서를 학생들이 실제 세계에서 AI를 어디서, 어떻게 사용하는지에 대한 조망으로 설명하며, 교육에 대한 AI의 영향을 이해하는 초기 단계에 있다고 밝힙니다. 보고서는 학생의 핵융합로 프로젝트 지원 및 교실에서 학생과 교사 간의 더 나은 의사소통 촉진을 포함하여 학습을 강화하는 AI의 사례를 인용합니다.
동시에 Anthropic은 AI가 연구가 완전히 포착하지 못하는 방식으로 교육자의 삶을 더 어렵게 만들고 있음을 인정합니다. 보고서는 다음과 같은 공개 질문을 제기합니다: 학생들이 여전히 기초적인 인지 및 메타 인지 기술을 개발하도록 보장하는 방법; AI 지원 환경에서 평가 및 부정행위 정책을 재정의하는 방법; AI 시스템이 거의 즉시 완성된 에세이를 생성하거나 사람이 몇 시간이 걸릴 복잡한 문제를 빠르게 해결할 때 의미 있는 학습이란 무엇인지; 그리고 모델 역량이 성장함에 따라 숙제 설계와 평가 방법이 근본적으로 바뀔 것인지 여부입니다.
보고서 외에도 Anthropic은 교육에서 AI의 역할을 더 잘 이해하기 위해 대학과 협력하고 있다고 밝힙니다. 초기 단계로, 회사는 직접적인 답변보다 소크라테스식 방법과 개념적 이해를 강조하는 학습 모드를 실험하고 있으며, 향후 연구 및 학습에 AI가 미치는 영향을 직접 연구하기 위해 대학과 협력할 계획입니다.