内容风控 / 04
人工审核、Case 回流与闭环
内容风控不是模型上线后结束。真正的风控系统依赖人工审核、申诉、case 回流和持续迭代。
人审的作用
人审用于：
- 处理模型不确定样本。
- 复核高风险内容。
- 建立高质量标签。
- 发现新型违规。
- 处理申诉。
人审结果是模型训练和规则调整的重要来源。
分层审核
常见策略：
- 高置信违规自动拦截。
- 高置信正常自动放行。
- 中间不确定进入人审。
- 高危类型提高审核等级。
- 申诉成功样本进入复盘。
这样可以在风险和成本之间平衡。
Case 回流
bad case 要结构化记录：
- 内容 ID。
- 风险类型。
- 规则命中。
- 模型分数。
- 人审结论。
- 申诉结果。
- 错误原因。
回流后可以用于补充训练样本、调整规则、优化阈值和更新审核标准。
标注一致性
审核员之间可能标准不一致。需要：
- 明确审核规范。
- 多人交叉标注。
- 计算一致性。
- 定期校准。
- 高争议样本升级复核。
标签质量直接决定模型质量。
面试题：误伤率高怎么办
回答框架：
- 分风险类型和人群看误伤。
- 检查规则是否过严。
- 检查模型阈值和分数校准。
- 分析申诉成功 case。
- 对低置信样本改为人审。
- 用回流样本迭代模型。
面试题：新型违规怎么发现
可以用：
- 用户举报。
- 人审 case 聚类。
- 异常行为检测。
- 文本和图像相似聚类。
- 运营规则快速上线。
- 模型增量训练。
总结
风控系统的核心是闭环。模型、规则、人审、申诉、回流缺一不可。面试里讲出闭环，比只讲分类模型更接近真实业务。