一般是机器和人工审核的双重过滤。根据不同业务需求，信息量及风险权衡，人机审核比例会有所不同。不废话，直接上干货。1、 文字内容方面1）使用敏感词过滤系统。信息审核工作都是在信息审核平台上进行的，网站的运营审核系统中会预先设定一批关键词库并对词组进行排列组合，这批词库又会根据敏感性进行分类。系统会阻止用户发布敏感词汇，或将用户发出来的含有敏感词的内容直接删除。 对于某些敏感性较低的词汇，发出来不会立即删除，需要经过审核人员过目进行二次审核。2）建立反垃圾信息（anti-spam）机制。我们经常会遇到一些垃圾信息，比如邮箱中收到的各种垃圾邮件、新浪微博的僵尸粉以及论坛中层出不穷的广告贴等等。有人会不停的去寻找网站的漏洞以及规则，使用机器发布这些垃圾广告从而达到营利目的。anti-spam主要是指通过技术手段对数据进行过滤和筛选，将我们认定为不合格的数据清理掉，将系统认为可疑的信息进行提示分类。anti-spam对审核工作也是一个相辅相成的内容。2、 图片内容方面对于图片内容的审核，传统的审核方式主要依赖于人工。图片不同于文字，无法提取关键词，对于大多数互联网公司在技术上无法达到，否则也就不会出现鉴黄师这样的职业了。另一种方式是引导用户使用举报功能。目前很多带有社交属性的网站和App，都会为用户开通举报功能。用户在浏览内容中发现色情视频、图片等不良信息，可以通过点击相应按钮或者链接的形式，向网站管理员举报，并由网站管理员完成删图或者封号等后续处理。从目前实践情况来看，这个方式虽取得了一定效果，但仍无法杜绝不良信息的传播。现在还有种最新的使用人工智能技术的审核方式。目前市面上已经有成熟的第三方公司提供API接口，如图普科技的图像识别云平台，可以辅助网站进行机器审核。这种方式主要是基于深度学习图像识别云，通过针对目标特征专门训练的素材库和识别模型来甄别存在的违规图片。使用时却很简单，只需通过接入API调用识别服务即可。如果自建系统做机器审核的话会非常坑爹。计算机视觉领域是技术含量非常高的领域，不仅在技术层面有着严苛要求，还需要大量的训练数据的积累、复杂的图像识别算法、昂贵的硬件系统和相应的工程化开发的支持。技术、人才、设备、大数据缺一不可。尤其是样本数量，直接决定着机器训练后的准确度。以图普科技的样本库为例，有超过1亿的色情样本和千万级别的极端宗教主义样本，你感受感受。像七牛云、融云、UCloud、迅雷、酷狗、秒拍等大型互联网企业都已经接入了图普科技的图像识别云平台。七牛和融云在自己的平台上也都开放了通用的鉴黄服务接口，如果你们公司数据放在他们那里，可以直接调用这个功能的。3、视频内容方面任何文件都有且只有一个独一无二的MD5信息值，MD5可以说是文件的“数字指纹”。对于含有视频内容的网盘或视频网站，采取的方式是建立涉黄文件的MD5数据库，用户上传后自动分析MD5是否合法，则能避免涉黄文件的重复分享。审核人员再对通过自动检测的每条视频进行审查。网监有一个巨大的危险MD5库，库内藏着各种不能流于世的视频。视频网站都需要接入这个库，并在实际审核中增加自己的库存。此外，包括标题、简介、评论等文字部分也是在审核的范畴。通过MD5之后的视频，第二步会经历机器审核的过滤。机器审核视频同样是基于深度学习图像识别云，实际也是将视频截图，由机器审核每一张截图的安全性。不过具体是3秒截一张还是5秒截一张，松紧度由视频网站自己控制。对于不能通过的视频，机器审核视频会给出两类结果：确定不能通过的，这类的准确率几乎能达到99.5%以上；仅作参考的，准确率在95%到97%，这可能意味着该视频需要再次进行人工审核。从整个行业来说，机器基本能筛过99%的视频，只有1%需要再次动用人工。如果是150万的视频，那人工只需要审核1.5万个。对于像优酷、爱奇艺这样的大型视频网站采取的是先审后发，而且更突出的是PGC部分的内容。然而在国内，多数UGC都是“先发后审”的，尤其在直播/短视频领域，强调草根主播，强调时效性。由于每天新产生的内容量太大，为了减轻审核工作，他们也有很多窍门，比如短视频领域中，会对新用户和高危用户的上传会优先审核，是“重点关注对象”；明星、大V等账号会被设置成为信任账户，默认他们发布的视频不用通过审核。在系统方面，则会建立反垃圾屏蔽系统，记录用户行为、关键词、头像MD5识别等进行用户和垃圾拦截；对于直播领域，则会要求在画面播出前完成机器审核（直播一般会有5-60s不等的延迟），避免“造人事件”再次发生。最后提醒一下，视频网站除了会对发布违禁视频的用户封号处理之外，还会把其IP汇报给网监，据说散布危害国家安全的视频判六年。所以千万别踩到雷。UGC 化是许多toC业务显著的运营趋势。无论是网易云音乐的”逆势突围“，还是美图秀秀、美柚等工具产品的盈利”第二曲线“，UGC社区都发挥了举足轻重的作用。我们知道UGC内容虽然好，对企业来说也有着天然的风险。只要用户数量一多，必然会有营销号、广告党、一些违法违规的内容开始频繁发布，曾经大红大紫的“即刻”正是由于UGC管理出现了失误，导致被封禁下架近一年，对业务的影响极大。因此内容安全的审核、管理是每个UGC网站/APP所必须重视的。2021年2月，国家公布了《互联网用户公众账号信息服务管理规定》修订，进一步明确了企业主体对内容审核的责任。在UGC内容尚且不多的情况下，人工审核是可行的，一旦UGC内容数量级达到一定的规模，人工审核显然是不现实的。这不仅仅指的是数量，而是各种形式的敏感内容，例如头像、图片夹带、视频、手写文字、签名等等。相比人工，系统识别的准确率和效率都是人工无法比拟的。特别是对于网站来说，还要考虑到被搜索引擎访问的时效性，因此，内容审核不仅要尽可能的保障风险和安全，效率和速度也很重要。在这种情况下，企业通常会引入系统的内容安全解决方案。图普科技作为最专业的内容安全解决方案服务商之一，提供包括涉黄、暴恐、涉政、涉赌、广告等几乎所有违规内容的自动审核解决方案，采取大数据和AI人工智能的方式，实现综合数据准确率几乎第一、各个细分领域的召回率、准确率前三名的成绩。除了内容安全解决方案的成熟程度和能力之外，在调试和服务能力上，图普的测试套餐是不限量的，可以快速验证是否符合网站整体的内容审核需求。现在注册，还可以领取一份2021年增长资料包合集哦。}