大数据搜索与挖掘

产品与技术
大数据文本去重
所属类别:大数据挖掘  浏览次数: 0

系统简介:


    大数据中不可避免地存在着重复数据,以互联网新闻网页为例,大约60%的互联网新闻网页都是重复的。所谓重复数据,往往指基本内容一致,但具体字样往往还存在着少许差异的数据。不同的业务所定义的重复标准也不尽相同。


    灵玖大数据文本去重解决方案能够识别各种类型的重复数据,有效降低数据冗余。


主要功能:


能够从大数据中快速识别出重复冗余数据;针对不同的业务类型,可以定制不同的重复标准。


应用案例:


灵玖大数据特征提取已经集成在多个公司的业务系统中。


图1为针对同一机构不同简写、别名及笔误造成的重名问题,可以从大数据业务中自动搜索并检测出重复的机构数据,对数据进行清洗并整合。

图1:大数据去重应用于中国邮政邮政查重系统


图2为针对新闻转载的问题进行自动识别。


图2:大数据去重应用于新闻转载识别


技术特点:


1. 速度快:内嵌指纹技术和相似性搜索技术,最大限度提升去重效率;


2. 处理精准:不同的去重标准可以定制,更贴切地满足业务需求;


3. 开放式接口:采用灵活的开发接口,可以方便地融入到用户的业务系统中,可以支持各种操作系统。


运行环境:


操作系统:inux2.6及以上;Windows Server


硬件配置:PC即可,内存2G以上