各网络公司既要确保消除非法信息，又要避免影响用户正常使用，怎样同时实现这两个目标？
许多中国互联网公司对自己的内容审核部门有着复杂的感情，因为其他业务可以赚钱，审核则和法务、合规一样会增加经营成本，但它就像安全带对司机一样必不可少。
随着互联网用户和内容的激增，审核技术也需与时俱进。今天，中国网民规模已达 7.13 亿，社交网络渗透率达 85.8%，仅用黑名单和禁词表远不能胜任日益复杂的网络环境，各大互联网公司都需要投入更多的资源，才能应对层出不穷的挑战。
1997 年至 2012 年东亚及中国各地区的互联网渗透率变化（图片来自：hanteng，wikimedia）
消失的非正常内容
尽管 1987 年中国就已成功对外发送第一封电子邮件，但直到 1996 年 1 月，中国公用计算机互联网（CHINANET）建成，互联网才正式进入民用市场。
同年二月，国务院发布的《计算机信息网络国际联网管理暂行规定》就已有相关规定，当时的方式还比较传统，如屏蔽非法网站、人工审核门户网站新闻等。
禁词表第一次介入网民生活，是因为即时通信应用的快速发展。
1999 年，腾讯仿造美国软件 ICQ 开发并发布了 QQ 前身 OICQ，并在竞争中胜出，仅两年后就拥有了 100 万最高同时在线用户，四年后达到了 1000 万。
2000 年至 2010 年腾讯 QQ 最高同时在线用户数
和今天主要用于熟人通讯不同，早期互联网是陌生人社会，人们在 QQ 上通过聊天室认识新朋友。非法信息第一次拥有了大规模传播的可能性，因此禁词表应运而生。
作为最原始的非法信息拦截方法，禁词表的规则相当粗暴——只要文本内容包含禁用词，则文本无法发送，或发送后仅自己可见。由于部分医疗健康类内容很容易因为关键词被判为色情内容，它们除了站方主动发布，基本不可能个人发送张贴传播。
直到今天，微信也仍然沿用这一规则：无论是私聊、群聊还是朋友圈，只要命中该词，则该内容只有自己能看见。好在微信环境相对封闭，内容审核级别并不高，根据多伦多大学的研究者在 2016 年 11 月发布的报告，他们只发现 178 个禁词，且仅针对用中国大陆手机号码注册的微信号。
但禁词表很快就力不从心了。随着 Web 2.0 时代的到来，任何信息都有可能一夜间传遍全网。博客、论坛、社交网络开始成为互联网主流，在人人都能成为创作者和传播者的理念下，无论是用户、内容还是非法信息的传播风险，都出现了指数级增长。
在 Web 2.0 时代，分享互动行为占据了主导
这样的背景下，传统禁词方案的缺陷开始暴露出来。
首先，完善词库就很考验水平。因为官方并不提供标准的禁词表，每家公司只能独自摸索设置哪些关键词才能有效屏蔽非法信息。这就要求词库建立者必须有非常广阔的视野，密切跟踪各类非法信息传递方式的升级，随时更新词库。
另一方面，词库只能做到精准匹配，对原词的同音近型替换或词义演绎则很难处理。例如“泡面”等词就显然无法进入禁词表，否则将误伤大量正常内容。
除此之外，许多需要清除内容也并非单个词，而是事件，需要多个词同时出现，才能触发机制。
以“金正男机场遇刺”为例，则需要“机场”、“金正男”、“遇刺”其中两个词同时出现才能触发清除机制。这就给了其中单个词相当大的替换空间，例如“机场金大胖”、“胖熊机场一日游”，都可以让人联想到该事件。
同时，“2001 年金正男在日本成田机场被遣返”这样的老新闻也会被误伤
面对这些复杂情况，互联网企业不得不聘请大量专员来人工处理。他们相比机器，不仅成本高昂，且效率低下。于是，各种计算机算法被研究了出来。
进击的算法
在程序员的眼中，中文天生就比英文等表音书写语言有更高的识别难度。
除了在传统禁词规则下会出现“一台独立服务器”被识别出“台独”等低级错误外，如果要对文本进行分析，必须先对其进行分词处理。这是因为中文单字与整句含义差别极大，只有成词，才能理解和判断文本倾向，避免把正常的生理卫生知识识别为色情信息。
正确断句是小学语文老师就开始强调的内容
而英文等表音书写系统则不存在此问题，因为其文本必须通过分词确定发音的首尾，否则难以阅读，所以英文自带分词。而中文作为意音语言，每个字都独立发音，则没有在文本上分词的动力。
实现分词的基础是字符匹配，如传统的“正向最大匹配法”即是从左到右扫描文本，与机器词典进行匹配，再将匹配成功的词切分，直到无法匹配为止。
但这种方法并不可靠，如“一台独立服务器”就还是会被分为“一/台独/立/服务器”。为解决歧义问题，则需要对大量真实语料进行统计，计算每个词的出现概率，再计算不同分词方案下的总概率。
在之前的例子中，因为“立”作为词的出现概率极低，因此“一台/独立/服务器”的概率将明显高于“一/台独/立/服务器”。更进一步，还可计算两个词同时出现的概率，以得到更精确的分词结果。
今天的分词算法可以成功识别插入特殊符号的非法信息。而配合扩展词表，也可以处理以同音字或拼音替代的信息。但对于联想类词语和事件类内容，还是需要其他算法的加持。
贝叶斯方法就是其中之一。1763 年，英国学者托马斯·贝叶斯生前的一篇关于“逆概论”文章中提出了贝叶斯公式。
贝叶斯公式
贝叶斯方法的核心在于通过已知事件的概率（先验概率）计算未知事件的概率（后验概率）。以“金正男机场遇刺”举例，假设抽取十万条包含“机场”的文本，其中七万条为正常内容，三万条为需要清除的非正常内容。
即正常评论的概率 P(g)=70%，非正常评论的概率 P(b)=30%。
再对所有文本进行分词，计算每个词出现的概率。假设“遇刺”在七万条正常内容中，有七十条包含该词；而在三万条非正常内容中，有三百条包含该词。则“遇刺”一词出现的概率 P(W)=0.37％，在正常内容中出现的概率 P(W|g)=0.1%，在非正常内容中出现的概率 P(W|b)=1%
那么，一条提到了机场的内容里出现了“遇刺”，该内容是非正常内容的概率 P(b|W) 是多大呢？根据贝叶斯公式 P(b|W) = P(W|b)P(b) / P(W) = 81.1％。
按此方法可以计算出每个词的非正常概率，再根据下公式就可以计算出该文本为非正常内容的期望，在根据实际情况设定阈值进行处理。
公式中 p1-pN 指的是该文本中每一个词的非正常内容概率
以“金大胖在机场遇刺”为例，假设这几个词的非正常内容概率分别为 P(b|金大胖)=0.9，P(b|机场)=0.3，P(b|遇刺)=0.8，则可算出文本是非正常内容的概率为 93.9％。
而“1963 年 11 月 22 日下午，他在机场听到了肯尼迪遇刺的消息”，则会因为“1963 年”、“肯尼迪”等词大大降低该文本的命中概率。
贝叶斯方案的缺陷是需要大量语料数据作为其先验概率的支撑，因此在许多规模较小的互联网社区并不普及。
多媒体内容的挑战
非法内容不仅仅只有文字。随着智能手机的普及和带宽速度的提升，大量的图片、音频和视频开始被制作上传，成为互联网主流内容。
对于这些新形式，应该如何处理？
最常被审核的是图片里的文字。此时，中文对英文的识别难度又一次体现了出来。识别图像中文本的算法被称为 OCR（光学字符识别技术）。这项早期用于帮助盲人阅读的的技术发展至今，对于常见的书写系统已经实现高于 99%的准确识别率。
尽管如此，仍然可以用模糊、变形、粘连、添加干扰符号等方式让 OCR 难以正确识别。因为中文字符数量远超英文字符，而每个字符都可能成为 OCR 算法的潜在错误选项。
一项对 5 个中文 OCR 软件的测试结果（2015 年 6 月）
但深度学习技术的快速发展，正在改善中文 OCR 的问题。
深度学习（Deep Learning）可以追溯到 1958 年的感知机算法，但直到 2010 年后，才开始在语音和图像识别取得重大突破。通过从“边缘—部分—全体”的分层特征提取，深度学习可以做到远超传统算法的识别精度。
对于 OCR 算法最头痛的预处理阶段，通过千万量级的文本图片对模型进行训练，可以有效的实现文本的降噪和分割。对色情类图片和视频也是如此，今天的鉴黄应用准确率已经达到了 99.95%，其训练方法和 OCR 唯一的不同在于，色情内容训练库难以自动生成，需要依赖大量的人工标注。
相对比较棘手的情况是特定人物头像和人物表情包。因为许多人物并没有足够丰富的图像资料用来训练，因此目前的人脸验证算法还是相对传统：校正图片—提取初始特征——计算两张人脸的相似度。
人脸相似度计算流程
非色情类视频的鉴别难度也在于此，因为不像色情内容一样能够拥有庞大数据用以训练，且惹事原因也五花八门，难以统一共性。
因此，此类视频的清理相当粗暴——直接封禁视频文件的 MD5 值。MD5 算法是一种加密散列函数，对任意字符串都能生成一段对应且唯一的 32 位十六进制数字串，即 MD5 值。因此，每个文件都有其独一无二的 MD5 值，这也意味着只要封禁一个文件的 MD5 值，则该文件的所有复制版本都无法观看。
当然，躲避 MD5 封禁也很简单，只要稍微修改文件，MD5 值即会发生改变。
除了传统社交网络的多媒体内容，语音问答和视频直播等新内容创业公司更需要保持警惕。2016 年 8 月，某风头正劲的语音问答平台突然无法访问，直至48天后才重新上线。不进增加了举报功能，其所有语言回答都需要经过审核后才能发布。
而直播平台涉黄被约谈整顿的新闻更是屡见不鲜。在竞争激烈的业态下，甚至有直播公司安插人手去敌台色情直播。好在面对强烈的业务需求，各大云服务公司都建立了完整的直播审查系统，面对色情内容可以做到秒级响应。
某云服务平台提供的直播审查系统
在深度学习算法逐渐成熟的今天，再也没有什么内容是无法识别的，距离完美安全的网络世界，差的只有更多非法信息的样本，只要敏感词和敏感图片源源不绝，清除网络非法信息的能力就会在它们的考验和训练下不断提高。
