0xSero/ai-data-extraction

무엇을 해결하는가

이 도구는 다양한 AI 코딩 어시스턴트로부터 전체 대화 기록, 코드 컨텍스트, 그리고 도구 사용 데이터를 추출하는 방법을 제공합니다. 이를 통해 개발자와 연구자들은 머신러닝 학습 및 미세 조정을 위한 고품질의 실제 상호작용 데이터를 수집할 수 있습니다.

작동 방식

이 툴킷은 특정 AI 도구(Cursor, Claude Code, Windsurf, Gemini CLI 등)에 맞춤화된 일련의 Python 스크립트로 구성됩니다. 이 스크립트들은 운영 체제를 자동으로 감지하고, 일반적인 설치 및 저장 경로를 검색하며, SQLite 데이터베이스 및 JSONL 파일을 포함한 다양한 형식의 데이터를 파싱합니다. 추출된 데이터는 사용자 메시지, AI 응답, 코드 스니펫, 그리고 제안된 diff를 포함하는 타임스탬프가 찍힌 JSONL 형식으로 표준화됩니다.

대상 사용자

자신의 AI 코딩 상호작용으로부터 학습 데이터셋을 만들고자 하는 ML 엔지니어 및 연구자, 그리고 AI 지원 개발 이력을 아카이브하고 싶은 사용자들을 위해 설계되었습니다.

주요 특징

• 광범위한 도구 지원: Cursor, Claude Code, Codex, Trae, Windsurf, Continue, Gemini CLI, OpenCode로부터 데이터를 추출합니다.
• 심층적 컨텍스트 추출: 텍스트뿐만 아니라 파일 경로, 줄 번호, 코드 diff, 그리고 도구 실행 결과까지 캡처합니다.
• 개인정보 보호 도구: 이메일이나 비밀번호와 같은 민감한 정보를 삭제하기 위해 openai/privacy-filter 모델을 사용하는 선택적 개인정보 보호 필터를 포함합니다.
• 학습 준비 완료: 직접적인 미세 조정 및 Unsloth 라이브러리와의 통합을 위한 예시를 제공합니다.
• 기술 합성: LLM을 사용하여 추출된 코퍼스에서 재사용 가능한 "Agent Skills"를 합성하는 유틸리티를 포함합니다.