内容风控 / 03

文本、图像与多模态审核

内容风险经常不是单一模态。文字、图片、视频、语音、标题、评论和上下文组合起来,才构成完整语义。

文本审核

文本风险包括辱骂、广告、诈骗、敏感内容、引流等。

方法:

  • 关键词和规则。
  • 文本分类模型。
  • 序列标注。
  • 大模型语义审核。
  • 用户和上下文特征。

图像审核

图像风险包括色情、暴力、二维码、广告图、侵权等。

方法:

  • 图像分类。
  • 目标检测。
  • OCR。
  • 图文匹配。
  • 多标签分类。

视频审核

视频比图像更难,因为风险可能出现在某几帧或音频里。

常用策略:

  • 抽帧。
  • 关键帧分类。
  • 音频 ASR。
  • OCR。
  • 时序模型。
  • 高风险片段人审。

多模态审核

多模态审核要融合文本、图像、音频和上下文。

例如一张图本身无风险,但配文引导诈骗;一段视频画面正常,但语音违规;商品图和标题组合才构成虚假宣传。

评估指标

风控评估要分风险类型看:

  • 召回。
  • 精确率。
  • 误伤。
  • 审核成本。
  • 高危漏放。
  • 申诉通过率。

高危风险更重召回,普通风险更要控制误伤。

面试题:多模态审核怎么做

理想回答:

我会先分别处理文本、图像、OCR、ASR 和用户上下文,再做多模态融合。高危规则直接拦截,中低风险由模型打分并进入人审或放行。评估时按风险类型分层,看召回、误伤和审核成本,并通过申诉和人审结果回流优化。

下一篇建议继续看: