peteromallet/dataclaw

DataClaw – AIコーディングのチャットを共有可能なデータセットに変換

概要 DataClawは、Claude CodeやCodexといったコーディング特化型AIエージェントとの会話ログを読み取るための軽量ツール（macOSメニューバーアプリおよびPython CLIとして利用可能）です。メッセージ、ツール呼び出し、トークン数、メタデータを抽出し、機密情報や個人データを削除した上で、クリーンアップされたJSON-Linesファイルを dataclaw タグ付きの公開データセットとしてHugging Faceにアップロードします。

重要性 開発者はこのプロジェクトを、Anthropicの制限的なデータ利用ポリシーに対する「パフォーマンスアート」的な回答と位置づけています。個々のユーザーが自身の人機協調コーディングセッションを簡単に公開できるようにすることで、DataClawは研究、モデルの微調整、分析に利用できる、分散型のコミュニティ主導による現実世界のコーディング協調データセットの構築を目指しています。

主な機能

• 2つの配布形式 – Pythonのインストールなしで動作するネイティブmacOSメニューバーアプリ（Apple-siliconのみ）と、あらゆるプラットフォームで利用可能なpipインストール可能なCLI。
• ソース非依存のパーサー – Claude CodeおよびCodexログを標準サポート。CLIは他のエージェントにも拡張可能。
• プライバシー優先のマスキング – ユーザー名、APIキー、JWT、メールアドレス、高エントロピー文字列、およびユーザー定義のカスタム文字列を自動的に削除。
• ステップバイステップのワークフロー – コマンドがJSONの next_steps フィールドを出力し、設定、ローカルエクスポート、レビュー、最終公開までの手順をユーザー（またはエージェント）にガイドします。
• Hugging Face統合 – ワンクリックでデータセットリポジトリを作成。READMEはトークン数、モデル分布、タイムスタンプを含めて自動生成されます。
• ユーティリティヘルパー – 人間が読みやすい形式に変換する jsonl-to-yaml、変更検知のための diff-jsonl、およびtrufflehogやgitleaksなどの外部スキャナーの実行推奨機能。

一般的な使用方法

1. CLI (pip install -U dataclaw) またはmacOSアプリをインストールします。
2. dataclaw update-skill claude を実行してClaude専用パーサーをインストールします。
3. エクスポートするソースとプロジェクトフォルダを設定します (dataclaw config …)。
4. dataclaw export --no-push --output export.jsonl を実行してローカルファイルを生成します。
5. マスキングレポートを確認し、必要に応じてカスタム文字列を追加し、dataclaw confirm … で確定します。
6. dataclaw export --publish-attestation "User approved" で公開し、ファイルを新しいHugging Faceデータセットにプッシュします。

対象ユーザー

• コーディングエージェントと頻繁に対話し、それらのセッションの個人的で検索可能なアーカイブを保持したい開発者。
• プライベートなログをスクレイピングすることなく、人機協調コーディング対話のクラウドソーシングコーパスを探している研究者。
• データ所有権に関心があり、自身でクリーンアップしたログを共有することで「恩返し」をしたいと考えている方。

制限事項

• マスキングはベストエフォートです。ユーザーは公開前にエクスポート内容を手動で確認する必要があります。
• 現時点ではClaude CodeとCodexのみを標準サポートしています。新しいエージェントを追加するにはパーサーの作成が必要です。
• macOSアプリは（最新リリース時点で）署名されておらず、Apple-siliconハードウェアでのみ動作します。

ライセンス MIT – 自由に使用、変更、再配布が可能です。