今年以来,智能鉴黄行业的兴起,让传统的人工审核、鉴黄师等逐渐相形见绌,互联网创业者、中小型企业寻求第三方反垃圾云服务成为一种新的趋势。这其中凝聚着网易公司十余年反垃圾技术和安全经验的“网易易盾”成为佼佼者,并率先在全国发起成立了首个互联网内容安全联盟,在文本、图片等智能反垃圾方面树立了标杆。
仅以最基础的文本鉴黄技术为例,为大家揭秘文本鉴黄背后的机制:
文本反垃圾尤其是文本鉴黄主要在哪些场景被应用?
主要是在新闻、社交、论坛、博客、小说等ugc产品中的应用,除了正常产品信息,这些ugc中还存在大量的色情淫秽、广告诈骗、暴恐谣言、政治敏感等垃圾文本内容。其中广告和色情是文本垃圾的主力军。
(2015年网易323亿条反垃圾数据统计)
以“裸聊”这个词为例,在垃圾内容里有非常多的演变。比如下面这一系列的字符:
光一个“裸聊”就有几十种变形。但实际上在很多论坛尤其是跟帖评论区,甚至会会出现把垃圾内容隐藏在藏头诗中这样更复杂的情况。
易盾是怎么解决问题的?
常规的审核方法是关键词识别和算法规则,算法规则也叫规则引擎,主要就是表达式的集合,这种方式识别准确率会提高很多。但垃圾内容升级进化速度太快,复杂字符重组、特殊符号等让常规审核方法也束手无策。一方面除了要识别出垃圾文本,另外一方面不能把正常内容也判定成垃圾信息,举个比较污的例子:
比如“口交”一词,通过常规审核肯定是认定为垃圾内容,但当它出现在“港口交通”、“串口交接线”这样的语境里却是正常内容,很容易造成误判。
怎么避免或降低这种复杂语义下的垃圾文本?
这时候就要依托语义分析来处理辨别。语义分析是依托深度学习技术和大数据技术,从网易19年沉淀的亿级垃圾特征库中提取和不断添加新特征,通过反复学习更有用特征,来达到对复杂语义钟垃圾内容的精确判定。通过这两项关键技术,目前易盾文本反垃圾的准确率可以达到99.6%
怎么接入易盾?
很方便,在易盾博天堂国际官网10分钟就可调用接入易盾sdk和开放api。
10万汉字丰富的排列组合,延伸出不同语境下的复杂语义,同时演变出大量高深莫测的垃圾变种,智能反垃圾需要的是大量的、长期积累的特征库,这远非一般的创业公司所能实现。
网易易盾自推出以来,服务的产品包括网易系过亿用户的网易云音乐、网易跟帖等知名产品,同时拥有足记、美食杰、春雨医生等海量外部客户,成为同类产品中最有实力的大企业背景第三方云服务,同时也代表着行业技术的最高水准。
相关阅读: