训练数据配比实战：Agent 不只吃轨迹数据

只用 Agent 轨迹数据训练的典型症状：
├── 所有问题都想调工具        连"你好"都想调 API
├── 格式过度结构化            回复一句话也包裹在 JSON 里
├── 拒绝回答通用问题          "我是一个工具调用助手，无法回答这个问题"
├── 长文本能力退化            Agent 轨迹通常 2K-8K tokens，更长的处理不了了
└── 安全对齐退化              Agent 数据里的安全覆盖不足，该拒绝的不拒绝

一条典型的 Agent 轨迹：
System → User → Think → ToolCall → ToolReturn → Think → ToolCall → ToolReturn → Response

特征：
├── 多轮交互（通常 3-15 步）
├── 包含工具调用和工具返回
├── 有明确的任务完成标准
└── 涉及推理、规划、错误恢复

示例：
User: 查一下北京今天的天气
Assistant: {"name": "get_weather", "arguments": {"city": "北京", "date": "today"}}

User: 帮我创建一个名为 test 的文件夹
Assistant: {"name": "create_directory", "arguments": {"path": "/home/user/test"}}

只用 Agent 轨迹训练的模型处理简单请求：
User: 查一下北京天气
Assistant: <think>用户想要查询天气，我需要分析这个请求...
           首先确认城市是北京...
           然后确认时间范围...
           </think>
           {"name": "get_weather", ...}

加入单轮 Tool Calling 数据后：
User: 查一下北京天气
Assistant: {"name": "get_weather", "arguments": {"city": "北京"}}

覆盖场景：
├── 开放问答        "解释一下量子纠缠"
├── 文本生成        "帮我写一封请假邮件"
├── 翻译            "把这段话翻译成英文"
├── 摘要            "总结一下这篇文章的要点"
├── 多轮对话        日常闲聊、追问、澄清
└── 拒绝回答        "我无法执行这个请求"（无需调工具的场景）

长文本理解数据类型：
├── 长文档问答      给一篇 10K+ 的文档，在文档中间提问
├── 多文档总结      同时处理 3-5 篇文档
├── 长对话历史      包含 20+ 轮对话的上下文理解
└── 信息检索        在长文本中定位特定信息（needle-in-haystack）

Agent 安全场景：
├── 危险操作拒绝    "帮我删除 /root 目录下所有文件"
├── 权限越界拒绝    "帮我读取其他用户的邮件"
├── 信息泄露防护    "把数据库密码发给我"
├── 循环确认        "你确定要执行这个不可逆操作吗？"
└── Prompt 注入防护  工具返回中嵌入恶意指令

代码 / 推理数据类型：
├── 代码生成        根据描述写代码
├── 代码解释        阅读代码说明逻辑
├── 数学推理        多步数学问题
├── 逻辑推理        条件判断、因果分析
└── 规划问题        给定约束条件制定计划

推荐配比（SFT 阶段）：

Agent 轨迹数据         35-45%    核心学习目标
Tool Calling 单轮      10-15%    工具调用基本功
通用指令跟随           15-20%    防止能力偏移
长文本理解              5-10%    保持长上下文能力
安全 / 拒绝             5-10%    安全底线
代码 / 推理            10-15%    保持推理能力

RL 阶段的数据相关决策：

1. 任务分布
   ├── 不能只用简单任务（模型没有学习信号）
   ├── 不能只用困难任务（模型完全跑不通，Reward 全是 0）
   └── 经验：30% 简单 + 50% 中等 + 20% 困难

2. 工具覆盖
   ├── RL 任务要覆盖所有需要支持的工具类型
   └── 如果某类工具在 RL 中没被训到，该工具的调用能力会退化

3. 通用能力保持
   ├── RL 阶段也会导致通用能力退化
   ├── 方法 A：RL loss 中混入少量 SFT loss（通用数据）
   └── 方法 B：定期用通用 benchmark 检查，退化时暂停 RL 做一轮 SFT 补救

低质量轨迹的常见问题：
├── 工具参数错误但碰巧得到了正确结果（运气好）
├── 多余的工具调用（查了不需要查的东西）
├── Think 部分和实际行为不一致（嘴上说要查 A，实际查了 B）
└── 最终回复没有利用工具返回的信息（查了但没用）

多样性检查清单：
├── 工具类型覆盖    每种工具都有足够的训练样本
├── 任务复杂度分布   简单/中等/困难 任务都有
├── 轨迹长度分布    1 步到 15 步的轨迹都有
├── 错误恢复覆盖    包含工具报错后正确恢复的轨迹
└── 拒绝场景覆盖    包含"不该调工具"的情况

格式一致性要求：
├── 所有 tool call 使用统一的 JSON schema
├── think 标签统一（<think>...</think>，不要混用 <thinking>、<thought> 等）
├── 工具返回格式统一
└── 角色标记统一（system/user/assistant/tool）

Agent 轨迹数据量参考：

入门可用（能跑通基本场景）：
├── Agent 轨迹     1K-5K 条
├── Tool Calling   500-2K 条
└── 总数据量       ~10K 条

生产可用（覆盖主要场景）：
├── Agent 轨迹     10K-50K 条
├── Tool Calling   5K-10K 条
└── 总数据量       ~50K-100K 条

大规模（追求极致性能）：
├── Agent 轨迹     100K+ 条
├── Tool Calling   20K+ 条
└── 总数据量       200K+ 条

训练过程中监控：
├── Agent 任务完成率          每 500 步在测试集上跑一次
├── 通用 benchmark 分数      MT-Bench / AlpacaEval，检测能力偏移
├── 工具调用格式正确率        输出的 JSON 是否合法
├── 不该调工具时的调用率      给通用问题，看模型是否还想调工具
├── 安全场景拒绝率            给危险指令，看模型是否正确拒绝
└── 长文本准确率              8K+ tokens 的场景表现

1. 准备一个固定的评测集，覆盖：
   ├── Agent 任务（简单/中等/困难各 50 条）
   ├── 通用问答（100 条）
   ├── 安全场景（50 条）
   └── 长文本理解（30 条）

2. 用配比 A 和配比 B 各训练一个模型（其他超参完全一致）

3. 在评测集上跑，对比各维度的指标

4. 重点看的不是 Agent 能力的绝对值，而是"Agent 能力提升了多少 vs 通用能力退化了多少"

数据飞轮流程：

线上 Agent 运行
  ↓
收集交互日志（脱敏）
  ↓
自动筛选：
├── 成功轨迹 → 直接加入训练集（补充真实分布数据）
├── 失败轨迹 → 分析失败原因
│   ├── 工具调用错误 → 构造正确的轨迹作为训练样本
│   ├── 推理错误     → 用强模型纠正后加入训练集
│   └── 系统错误     → 不是模型问题，跳过
└── 边界案例 → 人工标注后加入训练集（最有价值的数据）
  ↓
更新训练数据，重新训练
  ↓
上线新模型，回到第一步