建设背景
当前,各领域已经进入了大数据和人工智能时代,大数据日益成为一种新的重要战略资源。作为大数据应用最广泛的全文搜索,通过提供简单便捷的一键式搜索服务,彻底改变海量数据搜索慢、找不到的问题,有效解决信息查不到,信息位置不确定,相关资料不完整等诸多问题,得到了用户的普遍认可,也成为了大数据应用的雏形。但是,伴随着各领域用户对信息化系统认知不断提高,对大数据检索应用也有了新的解读和理解。传统的搜索仅仅是数据资源的检索,检索结果也只是资源列表的展现,搜索意图理解能力差,搜索结果碎片化、关联性不强等问题日益突出,已无法满足时下用户的需求,更无法支撑人工智能时代对大数据的分析需要。因此,各领域急需解决现有的搜索引擎系统存在的弊端,通过引入知识图谱技术提升搜索能力,用以解决大数据环境下的搜索模式单一,意图理解能力差、结果碎片化等问题。
解决方案
智慧新搜索遵循国家信息系统系列标准,采用前后端分离、分层解耦的技术架构,利用知识图谱和搜索引擎技术,支持将各个来源的数据快速构建索引并发布为搜索服务,构建面向业务的智能化、一体化搜索系统。
智慧搜索
智慧新搜索集成各类基础的搜索功能,并基于知识图谱、自然语言理解等技术,综合提升搜索的智能化程度和用户意图的理解能力,支持检索结果根据不同维度进行分类展现,构建面向用户的一体化、智能化搜索系统。实现搜索应用导航作为系统的总入口,以切实提升大数据搜索的应用内涵。
基础搜索:智慧新搜索集成各类基础的搜索功能,涵盖了各领域用户常用的搜索功能,满足各类用户对搜索系统的各项需求。支持为各类数据源提供统一全文检索服务,可根据输入的检索条件,检索出所有满足条件的数据条目。支持与、或、非等运算方式,支持丰富的检索语法,以便提供全面的检索功能。
无限关联检索:基于关联检索配置信息表,可对检索结果进行关联检索,包括关联检索实体资源、事件资源、文档等。例如查询**的离港记录,系统将返回命中对象的离港记录,通过对查询到的所有离港记录的航班信息进行关联检索,可关联查询到这些航班的人员。系统可无限关联检索,直到找到操作人员关心的数据。系统支持通过配置的方式实现某类对象可关联检索的数据类型。
检索统计挖掘:支持检索结果属性聚类、维度下钻,例如从日期、民族、航班号、航空公司、卡口等多维度出发,自助探索、挖掘业务场景需要的信息资源。
语义检索:通过对对象属性检索配置信息的检索,实现对象属性的检索,例如**的身份证号码、**的出生日期、**的国籍、**的地址等,系统将以属性信息卡方式直接返回该对象的相关属性。基于智能检索配置信息,结合一定的语义分析、对象检索、属性检索、关系关联检索等技术,用户可直接通过问答的方式进行检索,如近一周有轨迹活动的吸毒前科人员;最近一周坐飞机来广州的武汉人等。
智慧档案
智慧档案作为数据信息、关联关系等信息汇集和展现的载体,通过建设电子档案为平台提供鲜活、可靠的基础数据,满足查询、分析、研判在数据时效性、准确性等方面的要求。电子档案自动将检索到的所有数据进行融合展现,包括基础数据融合、轨迹数据融合等。提供电子档案配置、人员电子档案、车辆电子档案功能模块,每个电子档案提供丰富的展示内容和分析结果。
智能分析
智能分析集成了关联图分析、地图分析和扩展分析助手等,支持将搜索结果直接进行深度分析。
关联图分析:可视化关联分析支持用户通过直观的可视交互手段,将与案事件相关的多源数据进行关交互和可视化展现。支持以点击拖拽的方式让用户在不同数据集之间自由组合,探索不同数据集之间的关联关系和潜在关系,利用可视化交互分析等技术,实现图形化情报信息查询、可视化关联分析、证据链和情报线索发掘等,通过可视化分析,将大量的、未知质量的、低关联性的、低价值的信息转化为少量的、易于理解的、高关联性的、高价值的、可操作的情报,从而为分析调查工作提供帮助。将知识图谱中的所有关联对象以图谱的方式进行展示分析,同时提供多种关联图分析功能,包括新增实体、数据流分析、关联图布局模式选择、实体操作、图形操作和快照等功能。支持交互式关系图扩展,可以选择部分加载,也可以选择在新窗口打开。支持分析图编辑和保存,支持多次撤销编辑,可以通过拖动建立关系;支持分析图表的打印和图像下载。支持与直方图、时间轴、地图的互动展示。
地图分析:提供地图的分析,主要实现缩放、全图浏览、快速浏览、选择地图对象、拖拽入图、包括对象、KML、图层、热力图、聚类、轨迹回放等功能。
时间轴分析助手:对于所有具有时间属性的对象及其信息,平台支持通过时间轴的方式组织数据集,并进行联动分析展现。时间轴支持设置时间粒度、时间区间框选、时间窗口拖拽等方式切换选中数据集,以支撑时间维度的分析作业。
直方图分析助手:直方图分析展现是在可视化分析过程中,实时对选中的目标实体对象集进行全属性类别的统计分析、分类,并以图表的形式展现出来,同时提供相应的互动、选择、下钻、筛选等操作。
系统优势
技术上,智慧新搜索系统集成知识图谱技术和自然语言处理技术、分布式搜索引擎技术等,基于动态本体的知识图谱,支持动态知识建模,能够围绕检索目标进行数据整合、数据源增加、数据结构变化等知识图谱库管理工作,实现面向目标的知识加工,轻松应对知识结构扩充演变,支持语义解析、问答式检索、关联分析等。基于深度学习的自然语言处理,利用自然语言处理、人工智能、机器学习的方式,抽取出人、物、地、组织、事件等实体,并根据实体属性联系、时空联系、与已联系、特征联系等关联关系进行知识加工,构建具有行业特性的海量多维实体关系网络,帮助用户快速准确地找到目标对象并完整地呈现知识链条,支撑用户自然语义级别的搜索和知识无限关联检索。
其次,采用前后端分离技术对应用和数据进行解耦,即应用前置进行页面展示,应用后置为应用前置提供业务处理逻辑并调用数据服务,从而实现应用与数据的分离,为大型分布式搜索架构、弹性计算架构、微服务架构、多端化服务打下坚实的基础,采用微服务技术将数据服务还可以发布API给其它应用客户,功能交付变得更加简单,适合大规模扩展和应用定制。