sybil-solutions/ai-data-extraction

AI 코딩 어시스턴트 학습 데이터 추출 툴킷

개요 – 인기 있는 AI 코딩 어시스턴트(Claude, Cursor, Codex, Gemini, OpenCode 등)의 로컬 스토리지를 스캔하여 전체 대화 기록, 코드 스니펫, diff, 도구 호출 결과 및 메타데이터를 추출하는 Python 스크립트 모음입니다. 추출된 자료는 줄 바꿈으로 구분된 JSON (JSONL) 형식으로 작성되어 미세 조정(fine-tuning)이나 기타 머신러닝 연구를 위한 데이터셋 구축 파이프라인에 직접 입력할 수 있습니다.

주요 기능

• 운영 체제를 자동 감지하고 지원되는 각 도구의 기본 설정/데이터 폴더를 검색합니다.
• 다양한 스토리지 형식 처리: JSONL 파일, SQLite 데이터베이스, Tauri .dat 파일, 콘텐츠 주소 지정 방식의 blob 스토리지.
• 풍부한 컨텍스트 보존: 파일 경로, 줄 범위, 코드 선택 영역, 제안된 diff, 도구 출력, 타임스탬프, 모델 식별자 및 세션 계층 구조.
• 각 어시스턴트용 원클릭 스크립트(extract_cursor.py, extract_claude_code.py 등) 및 extract_all.sh 래퍼 제공.
• 선택적 개인정보 필터: OpenAI 개인정보 필터 모델을 로컬에서 실행하여 이메일, 비밀 정보 등을 마스킹합니다.
• 병합, 날짜별 필터링, diff가 포함된 대화만 선택하는 헬퍼 유틸리티.
• corpus_to_skills.py 스크립트: 로컬 LLM을 사용하여 필터링된 코퍼스를 재사용 가능한 Agent Skills로 변환합니다.

일반적인 워크플로우

1. Python 3.6+를 설치합니다(핵심 추출기에는 추가 종속성이 없습니다).
2. 원하는 스크립트를 실행합니다(예: python3 extract_cursor.py).
3. 도구가 extracted_data/…jsonl 파일을 생성하며, 각 대화당 하나의 JSON 객체가 포함됩니다.
4. 🤗 Datasets와 같은 라이브러리로 JSONL 파일을 로드하고, 필요에 따라 필터링한 후 모델 미세 조정에 사용합니다.

중요성 – 고품질 코드 어시스턴트 모델을 학습시키려면 텍스트 교환뿐만 아니라 주변 코드 컨텍스트와 편집 기록을 포함하는 대규모의 잘 구조화된 코퍼스가 필요합니다. 이 툴킷은 기존 어시스턴트가 사용하는 다양한 독점 스토리지 형식에서 데이터를 추출하는 번거로운 작업을 자동화하여, 연구자들이 로컬 우선 및 개인정보 보호를 유지하면서 더 풍부한 데이터셋을 구축할 수 있도록 합니다.

라이선스 및 안전 – MIT 라이선스. README는 사용자가 추출한 데이터에 대한 소유권을 가져야 하며, 각 도구의 서비스 약관을 준수하고, 추출된 자료를 공유하기 전에 비밀 정보 스캔/개인정보 보호 검사를 수행해야 함을 강조합니다.