监控项目分析报告-需求分析

从搜狐各个产品的角度,监控作为一项安全服务来保证各个产品的网络内容层面的安全(防止色情、暴力、政治极端,广告等危及社会稳定与用户体验的内容以sohu产品为平台出现在网络中,以下统称为网络内容安全),需要提供如下功能与标准:

  1. 需要对各个产品提交的内容进行机器审核并同步给出审核结果,各个产品以此对该内容实施对应的发布策略(进行机器审核的审核依据统一简称为过滤器);
  2. 需要对各个产品提交的内容进行人工审核并异步给出审核结果,各个产品以此对该内容修改之前的发布策略;

从使用监控的网安工作人员来看,监控作为一个工具主要完成两个任务:

  1. 多人协同消费(处理)数据,并在必要时将处理结果下发给对应产品;
  2. 网安工作人员根据审核情况,向过滤器添加或删除数据。形象点说就是,训练与调整过滤器,以使其更好地完成过滤(不放过危险内容也不能危机健康内容)

 

monitor_skeleton3

上面从监控的总体功能层面介绍了前端产品与网安工作人员的需求,如上图所示:,下面从监控内部实现功能与数据流层面介绍其需求。

与产品线需求相关:

  1. 考虑到搜狐的产品生产内容量,监控的服务需要实现服务入口唯一而服务处理单元多个的部署形式,具体为由nginx等实现反向代理与负载均衡;
  2. 各个产品线会以http的post形式将数据提交给监控,因此监控需要提供http服务;
  3. 考虑有些类别的内容,需要先审(此处的审即人工审核)后发,因此机器审核的时间必须控制在0.5s内,所以需要开发或使用高效的机器审核机制,以完成过滤器的过滤工作。

与网安部门需求相关:

  1. 机器审核过的数据,其中经过滤器过滤通过的数据需要再次交给网安人员审核,由于这样数据量仍然远远大于网安工作人员。因此需要在机器审核与人工审核之间架设存储单元来完成缓冲。
  2. [分类]网安人员需要对数据行分类审核以提高审核效率,其中分类层次包括:产品分类、审核级别分类、数据内容分类(广告类、色情类、政治类等)。因此这就需要在前面的过滤器处理完成后,判断出数据的分类情况。其中产品分类信息由各对应产品提供,而审核级别分类与数据内容分类则由过滤器过虑完成得出;
  3. [防重复]由于同一时间会有多名网安人员来进行人工审核,因此需要监控保证同一份数据只会由一位网安人员进行处理,即防止数据重复审核,减少网安人员不必要工作量与避免向产品反馈不一致信息。
  4. [批量]由于存在机器发布网络内容这一情况,因此网安人员需要监控完成数据的正常的归类还需要网安人员随时的
  5. 过滤器调校]因为随着社会舆论与时间推移,过滤器中的过滤规则需要调整;同时网安人员在人工审核过程可以挖掘出新的过滤规则,此时需要及时加入到过滤器中。因此监控需要提供过滤器的调校功能,并在调校完成后,立即将最新的过滤器同步到机器审核中。

上面分别从产品与网安人员的角度对监控的功能细节需求进行了讲解,下面再次通过网安人员的角度对监控中的中枢模块过滤器进行需求分析:

  1. 从产品数据内容上看,过滤器需要分析出数据内容的内容分类,然后根据分类内容得出对应的审核级别;
  2. 从产品数据内容的发布源上,过滤器需要从用户与区域上进行分析,并根据分析出用户与地域分类;
  3. 过滤器需要根据产品或其它要求进行个性化定制,即要求过滤器是可组装与拆解的。

 

 

发表评论