peteromallet/dataclaw

DataClaw – AI 코딩 대화를 공유 가능한 데이터셋으로 변환

기능 소개 DataClaw는 Claude Code나 Codex와 같은 코딩 중심 AI 에이전트와의 대화 로그를 읽어오는 소형 도구(macOS 메뉴바 앱 및 Python CLI로 제공)입니다. 메시지, 도구 호출, 토큰 수 및 일부 메타데이터를 추출하고, 기밀 정보와 개인 데이터를 비식별화한 후, 정리된 JSON-Lines 파일을 dataclaw 태그와 함께 Hugging Face에 공개 데이터셋으로 업로드합니다.

중요성 개발자는 이 프로젝트를 Anthropic의 제한적인 데이터 사용 정책에 대한 "퍼포먼스 아트"적 대응으로 정의합니다. 개별 사용자가 자신의 인간-AI 코딩 세션을 쉽게 게시할 수 있도록 함으로써, DataClaw는 연구, 모델 미세 조정 또는 분석에 사용할 수 있는 분산형 커뮤니티 소싱 실세계 코딩 협업 데이터셋을 구축하는 것을 목표로 합니다.

주요 기능

• 두 가지 배포 형식 – Python 설치 없이 실행되는 네이티브 macOS 메뉴바 앱(Apple-silicon 전용)과 모든 플랫폼에서 사용 가능한 pip 설치형 CLI.
• 소스 독립적 파서 – Claude Code 및 Codex 로그를 기본 지원하며, CLI는 다른 에이전트로 확장 가능합니다.
• 개인정보 우선 비식별화 – 사용자 이름, API 키, JWT, 이메일, 고엔트로피 문자열 및 사용자 정의 문자열을 자동으로 제거합니다.
• 단계별 워크플로우 – 명령어가 JSON next_steps 필드를 출력하여 설정, 로컬 내보내기, 검토 및 최종 게시 과정을 사용자(또는 에이전트)에게 안내합니다.
• Hugging Face 통합 – 클릭 한 번으로 데이터셋 저장소를 생성하며, 토큰 수, 모델 분포, 타임스탬프가 포함된 README가 자동으로 생성됩니다.
• 유틸리티 도구 – 사람이 읽기 쉬운 형식으로 변환하는 jsonl-to-yaml, 변경 사항 감지를 위한 diff-jsonl, 그리고 trufflehog나 gitleaks와 같은 외부 스캐너 실행 권장 기능을 제공합니다.

일반적인 사용법

1. CLI (pip install -U dataclaw) 또는 macOS 앱을 설치합니다.
2. dataclaw update-skill claude를 실행하여 Claude 전용 파서를 설치합니다.
3. 내보낼 소스와 프로젝트 폴더를 설정합니다 (dataclaw config …).
4. dataclaw export --no-push --output export.jsonl을 실행하여 로컬 파일을 생성합니다.
5. 비식별화 보고서를 검토하고, 필요에 따라 사용자 정의 문자열을 추가한 뒤 dataclaw confirm …으로 확인합니다.
6. dataclaw export --publish-attestation "User approved"를 사용하여 게시하면 파일이 새로운 Hugging Face 데이터셋으로 푸시됩니다.

대상 사용자

• 코딩 에이전트와 정기적으로 상호작용하며 해당 세션의 개인적이고 검색 가능한 아카이브를 유지하려는 개발자.
• 비공개 로그를 스크래핑하지 않고도 인간-AI 코딩 상호작용의 크라우드 소싱 코퍼스를 찾는 연구자.
• 데이터 소유권에 관심이 있으며, 자신이 직접 정리한 로그를 공유하여 "커뮤니티에 환원"하고자 하는 분.

제한 사항

• 비식별화는 최선의 노력(best-effort) 수준이며, 사용자는 게시 전 내보내기 내용을 수동으로 검토해야 합니다.
• 현재 Claude Code와 Codex만 기본 지원하며, 새로운 에이전트를 추가하려면 파서를 작성해야 합니다.
• macOS 앱은 (최신 릴리스 기준) 서명되지 않았으며 Apple-silicon 하드웨어에서만 작동합니다.

라이선스 MIT – 자유롭게 사용, 수정 및 재배포 가능.