DataClaw支持哪些数据源？Claude Code、Codex、Gemini CLI、Cursor等7大编码代理全景解析

DataClaw支持哪些数据源？Claude Code、Codex、Gemini CLI、Cursor等7大编码代理全景解析

【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw

DataClaw 支持哪些数据源？这款开源的编码代理聊天记录导出工具（Agent Harness），能够解析 Claude Code、Codex、Gemini CLI、Cursor 等 7 大 AI 编码代理的本地会话日志，自动脱敏后一键发布为 Hugging Face 数据集，帮你把散落在各工具里的人机协作数据变成可复用、可分享的开源数据集。

一、DataClaw 是什么：一条命令导出编码代理对话数据 🦞

如果你每天都在用 AI 编码代理写代码，那你一定积累下了大量宝贵的对话记录：需求描述、思考过程、工具调用、Token 消耗……这些数据只躺在本地日志里，很少有人能把它变成结构化数据集。

DataClaw 就是解决这个问题的开源项目（MIT 协议）：

• 解析各编码代理的本地会话日志
• 脱敏密钥、个人身份信息（用户名哈希化、API Key 正则识别、熵分析等）
• 导出为统一 JSONL 格式，并发布到 Hugging Face，所有导出都会打上dataclaw标签，逐步汇聚成一个真实的人机协作编码数据集

安装非常简单，一条命令即可：

pip install -U dataclaw

也可以下载 macOS 菜单栏应用（Apple Silicon），无需单独安装 Python 环境。完整命令列表可参考 README.md 的 Commands 章节。

二、7大编码代理数据源全景解析：支持哪些编码代理？

DataClaw 把每个编码代理封装为一个独立的 Provider（解析器），统一注册在 dataclaw/providers.py 中，所有解析器源码都集中在 dataclaw/parsers/ 目录。目前内置7 大编码代理数据源 + 1 个自定义数据源：

下面逐个快速了解每个数据源的特点。

1. Claude Code：维护最完善的核心数据源

Claude Code 是 DataClaw 支持最深入的数据源（源码 dataclaw/parsers/claude.py）。日志位于~/.claude，DataClaw 会解析其中的会话 JSONL 文件，导出用户消息（含语音转录和图片）、助手回复、扩展思考块（可用--no-thinking关闭）、工具调用的输入输出、每个会话的 Token 用量，以及模型名称、Git 分支、时间戳等元数据。

它还是唯一支持Skill的代理：运行dataclaw update-skill claude后，可以直接让 Claude Code 自己引导你走完整导出流程。团队还专门维护了 docs/claude-code-vs-cchv-gaps.md 来持续对齐 Claude Code 日志的覆盖细节。

2. Codex CLI：OpenAI 编码代理的会话日志

Codex CLI 的日志在~/.codex，由 dataclaw/parsers/codex.py 解析，与 Claude Code 解析器并列为官方最推荐参考的两个成熟实现。导出时会同样带上消息、思考、工具调用和 Token 统计。

3. Gemini CLI：Google 官方编码代理

Gemini CLI 的会话记录保存在~/.gemini/tmp，对应解析器 dataclaw/parsers/gemini.py，补齐了 Google 系编码代理的数据源空缺。

4. Cursor：唯一"非 CLI"数据源，直接读 IDE 数据库

Cursor 的数据源比较特别：它不是文本日志，而是 IDE 内的 SQLite 数据库（state.vscdb）。DataClaw 的 dataclaw/parsers/cursor.py 会按操作系统自动定位路径（macOS / Windows / Linux 三套），以只读模式打开数据库提取 Agent 对话记录，无需你手动找文件。

5. Kimi CLI、OpenCode、OpenClaw：新兴代理全覆盖

• Kimi CLI（~/.kimi）：kimi.py，支持 Moonshot 的命令行编码代理
• OpenCode（~/.local/share/opencode）：opencode.py，开源编码代理
• OpenClaw（~/.openclaw）：openclaw.py，解析agents子目录下的多代理会话

6. Custom 自定义数据源：没有内置解析器怎么办？

如果其他代理没有现成解析器，你还可以把 JSONL 文件放进~/.dataclaw/custom/<项目名>/目录（见 dataclaw/parsers/custom.py），走通用数据源导出。项目官方也鼓励社区贡献：让你正在用的编码代理阅读本仓库、参考 Claude Code 和 Codex 解析器，自己实现一个新 Provider 并提交。

三、统一数据模型：所有数据源导出成同一种格式

无论来自哪个编码代理，DataClaw 都导出成统一的结构化 JSONL——每行一个会话，包含：

• 用户消息（含图片、语音转录等多模态内容）
• 助手回复与扩展思考
• 工具调用：工具名、输入、输出、执行状态
• Token 用量：每会话的输入/输出 Token 数
• 元数据：模型名、Git 分支、起止时间戳

这样来自 Claude Code、Codex、Cursor 的数据可以无缝合并训练或分析。字段细节见 README.md 的 Data schema 一节，还可以用dataclaw jsonl-to-yaml命令把导出的 JSONL 转成人类可读的 YAML 便于人工检查。

四、隐私保护：发布前的多层脱敏 🔐

编码代理日志里最容易泄露的就是密钥和个人信息。DataClaw 在 dataclaw/anonymizer.py 与 dataclaw/secrets.py 中实现了多层防护：

1. 用户名哈希化：系统用户名 + 你配置的用户名替换为稳定哈希
2. 密钥正则识别：覆盖 JWT、Anthropic/OpenAI/HF/GitHub/AWS API Key、数据库密码、私钥、Discord Webhook 等（详见 dataclaw/secrets.py）
3. 熵分析：自动标记引号内的高熵长字符串
4. 邮箱脱敏
5. 自定义脱敏词：dataclaw config --redact "公司内部域名,客户名称"可追加任意敏感词
6. 工具调用同标准脱敏：工具输入输出与正文同等处理

⚠️ 官方明确提醒：自动脱敏并非万无一失，发布前请务必用dataclaw export --no-push先本地导出并人工审查，dataclaw confirm命令还会强制执行一次全名扫描与人工确认声明（attestation），确认后才能解锁发布。

五、快速上手：3步选择数据源并导出

导出流程被设计成"跟着next_steps走"的向导式体验（完整规则见 AGENTS.md）：

1. 准备：dataclaw prep—— 自动发现各数据源项目并检查 Hugging Face 登录态
2. 选数据源：dataclaw config --source claude选单一代理，或dataclaw config --source all导出全部 7 大编码代理；再用dataclaw list --source all查看项目清单并排除敏感项目
3. 导出与发布：dataclaw export --no-push先本地导出 →dataclaw confirm完成隐私确认 →dataclaw export --publish-attestation "..."发布到 Hugging Face

Mac 用户则可以直接打开菜单栏应用，在图形界面完成同样的流程（应用源码在 app/src/，含仪表盘、日志、配置等页面）。

六、项目结构与扩展指南 📚

DataClaw 的核心代码组织清晰，方便你按需深入或贡献新数据源：

• dataclaw/providers.py：Provider 注册表与统一接口
• dataclaw/parsers/：7 大编码代理 + custom 解析器
• dataclaw/cli.py：命令行入口，所有命令输出next_steps指引
• docs/：各数据源（Claude Code、Codex、Cursor、Gemini、OpenCode）与同类工具的差异对比文档
• tests/：覆盖各解析器与脱敏逻辑的完整测试套件

如果你想接入自己常用的编码代理，官方建议的路径是：让该代理阅读本仓库，参考 Claude Code 与 Codex 解析器实现，按统一 schema 导出消息、工具调用与二进制内容，然后提交 PR。

总结：DataClaw 目前覆盖 Claude Code、Codex CLI、Gemini CLI、Cursor、Kimi CLI、OpenCode、OpenClaw 共 7 大编码代理数据源，外加自定义数据源通道。无论你在用哪款 AI 编码工具，都可以用它把宝贵的对话历史变成受脱敏保护、格式统一、可公开发布的 Hugging Face 数据集。

【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw