haolpku/K12-KGraph

해결하는 문제

K12-KGraph는 현대 LLM에서 "커리큘럼 인지" 부족을 해결합니다. 모델은 개념을 정의할 수 있지만, 교육 개념 간의 구조적 관계—예를 들어 전제 조건, 분류학적 이웃, 또는 개념을 검증하거나 시험하는 특정 실험이나 연습—를 이해하는 데 어려움을 겪는 경우가 많습니다.

작동 방식

이 프로젝트는 공식 K-12 STEM 교과서(수학, 물리, 화학, 생물)에서 커리큘럼에 부합하는 지식 그래프(KG)를 구축합니다. 파이프라인은 다음과 같습니다:

1. 추출: MinerU를 사용한 PDF 파싱과 GPT-5.2를 활용한 스키마 제약 추출을 통해 개념, 기술, 실험을 추출합니다.
2. 구조화: 데이터의 계층적 병합과 DAG(방향성 비순환 그래프) 검증을 통해 논리적 흐름을 보장합니다.
3. 자산 생성: KG를 기반으로 두 가지 주요 자산을 생성합니다:
   • K12-Bench: 구조적 추론을 평가하기 위한 23,640개의 다중 선택 질문 벤치마크입니다.
   • K12-Train: Supervised Fine-Tuning(SFT)을 위한 2,267개의 인스트럭션-응답 쌍 데이터셋으로, 모델에 커리큘럼 구조를 가르칩니다.

대상 사용자

교육용 LLM, 커리큘럼 인식 AI, STEM 분야의 구조적 추론을 벤치마크하고자 하는 AI 연구자 및 개발자.

주요 특징

• 다차원 정렬: 정의, 공식, 실험, 연습, 교과서 위치 측면에서 개념을 정렬합니다.
• 고품질: 분야 전문가 검증(Fleiss' κ = 0.84)과 자동 DAG 검증을 통해 보장됩니다.
• 즉시 사용 가능한 모델: 커리큘럼 데이터로 특별히 훈련된 3개의 파인튜닝 체크포인트(Llama 3.1, Qwen 3.5, Qwen 3)를 제공합니다.
• 포괄적인 스키마: 7개의 노드 유형(예: Concept, Skill, Experiment)과 9개의 엣지 유형(예: prerequisites_for, verifies)을 포함하여 교육적 의존성을 매핑합니다.