王思腾工作室· 王思腾 · 系统架构 · 9 分钟阅读
内容审核系统架构设计：UGC 平台的多模态风控流水线
图文、视频、评论、直播弹幕……UGC 平台每天要在内容触达用户前完成海量审核。本文走一遍内容审核系统的机审流水线、多级召回、人工复审、策略中心与审核中台设计，兼顾“漏审风险”与“误杀体验”。
任何允许用户生产内容（UGC）的平台——社交、短视频、电商评价、社区、直播——都离不开内容审核。目标是在内容曝光前，尽可能准确地识别涉政、色情、暴力、广告、辱骂、违法等风险内容。这是一条高吞吐、低延迟、强对抗的实时风控流水线。
一、审核的业务目标与难点
- 覆盖广：文本、图片、音频、视频、昵称头像、弹幕，多模态。
- 要求快：发帖、评论希望秒级出结果；直播弹幕更是毫秒级。
- 要准确：漏审（放过违规内容）有合规风险，误杀（拦截正常内容）伤害体验。
- 强对抗：黑产不断变换手法（谐音、拆字、OCR 规避、加干扰），策略需持续迭代。
- 可解释：处置要能给出理由，支持申诉与人工复核。
核心矛盾：风险与体验的平衡——所以系统通常是“机审为主、人审兜底、策略可调”。
二、整体架构
内容先过同步快速审核（高置信度直接放行/拦截），复杂内容进异步流水线深度识别，可疑内容流入人工复审。
三、同步 + 异步双链路
1. 同步链路（在线、低延迟）
用户发布时，网关先做轻量、高置信度的判断：
- 敏感词/正则/黑名单精确匹配；
- 高频简单模型（如文本分类小模型、头像图片快速鉴黄）；
- 用户风险等级（黑名单、新号、历史违规）。
命中明确规则则直接拦截或直接放行，耗时控制在几十到几百毫秒，保证发帖体验。不确定的内容“先放过同步、进入异步深审”，或对高风险用户“先发后审”。
2. 异步链路（离线、深度）
通过 MQ 削峰后，内容进入完整审核流水线：
- 内容解析：抽帧（视频）、抽帧 OCR、语音转写（ASR）、提取文本。
- 多模态识别：调用各算法服务打标签。
- 策略引擎综合判定：融合多个模型结果 + 用户画像 + 场景规则，给出最终决策。
- 处置：通过 / 删除 / 限流（仅自己可见）/ 降权 / 送审。
- 通知与申诉：处置结果通知用户，提供申诉入口。
异步链路允许秒级到分钟级延迟，用于兜底和复杂判断。
四、多模态识别能力
| 模态 | 识别手段 | 典型风险 |
|---|---|---|
| 文本 | 敏感词库、分类模型、大模型语义审核 | 涉政、辱骂、广告、谣言 |
| 图片 | 图像分类/检测、OCR 文字识别 | 色情、暴力、违禁、违规文字 |
| 视频 | 关键帧抽帧 + 图像识别 + ASR | 画面违规、语音违规 |
| 音频 | ASR 转写 + 声纹 | 语音违规、敏感人物 |
| 行为 | 频次、设备、关系图谱 | 刷量、水军、批量垃圾 |
关键设计：
- 多级召回：先用便宜、快的粗排（词库、小模型）筛掉大部分，再对疑似内容调用昂贵的大模型/大模型审核，控制成本。
- 模型服务化：算法以独立服务部署（GPU 集群），通过特征/内容 ID 调用，支持独立扩缩容和版本灰度。
- 大模型兜底：对传统模型难判的隐晦、谐音、上下文相关内容，用 LLM 做语义理解和综合判断。
五、策略中心：系统的大脑
模型只输出“标签 + 置信度”，最终处置由策略引擎决定。策略需要可配置、可灰度、可快速回滚：
- 规则编排：
若 (涉黄置信度>0.9 或 命中黑词库) 且 用户非白名单 → 删除。 - 分级处置：通过、折叠、仅自己可见、删帖、禁言、封号，按风险等级和用户等级差异化。
- 场景化：私信、评论、直播弹幕的容忍度不同，策略分开配置。
- AB / 灰度：新策略先小流量验证，对比漏审率和误杀率。
- 词库/样本库：敏感词、黑样本、白名单统一管理，热更新。
策略与模型解耦，运营可在不发版的情况下快速上下线规则，应对突发舆情。
六、人工复审与审核中台
机器做不到 100% 准确，人审是质量兜底：
- 送审队列：机审低置信度内容、用户举报内容进入人审平台。
- 智能分发：按内容类型、审核员能力、队列负载分配任务；高危内容优先。
- 辅助工具：高亮模型命中点、相似历史案例、一键处置。
- 质检与回流：对人审结果抽检，误判纠正；人审标注数据回流用于模型再训练，形成数据闭环。
- 申诉复核：用户申诉进入二次审核，纠正误杀。
审核中台还要提供数据看板：审核量、拦截率、漏审/误杀、人审效率、趋势监控。
七、高并发与对抗稳定性
- 削峰限流：上传/发帖高峰用 MQ 缓冲，算法服务按队列积压自动扩容。
- 降级：模型服务超时则降级到词库规则或“先发后审”，保证主流程可用。
- 缓存：图片/视频指纹（MD5、感知哈希 pHash）命中已知违规库可秒级拦截，重复内容不重复算。
- 对抗演进：黑产用变体绕过，需要特征监控（拦截率异常波动）+ 快速策略响应 + 模型持续迭代。
- 合规留痕：审核决策、模型版本、处置记录全量留存，满足监管与审计。
八、技术选型参考
| 场景 | 选型 |
|---|---|
| 消息/削峰 | Kafka / RocketMQ |
| 流处理 | Flink（实时特征、行为风控） |
| 模型服务 | Triton / TorchServe / 自研推理网关（GPU） |
| 存储 | Redis（词库/指纹）、HBase/ES（审核记录）、对象存储（媒体） |
| 策略引擎 | 规则引擎 / DSL + 配置中心 |
| 人审平台 | 自研工单系统 + 标注平台 |
九、总结
内容审核系统的本质，是一条用工程把多种 AI 能力编排成实时决策的风控流水线：
- 同步快审 + 异步深审兼顾体验与覆盖；
- 多模态多级召回在准确率与成本之间取平衡；
- 模型打标、策略决策、人审兜底职责分离，策略可热更新；
- 审核数据回流训练模型，形成与黑产持续对抗的闭环。
好的审核系统是“隐形”的——用户几乎感知不到它的存在，但平台的安全与合规都依赖于这条流水线 7×24 小时的运转。
本文由 AI 辅助创作，所有内容仅供交流与参考。
