首页 首页 大数据 查看内容

公检法行业大数据--- 之非结构化数据

木马童年 2020-2-14 23:40 17 0

近年来,随着公检法行业新业务不断上线,公安高清卡口、社采系统和人口库的升级,检察院统一业务软件、高清审讯系统改造,法院的数字法庭、电子卷宗等建设,使得数据每年都是以50-80%的速度递增。大多数公检法行业信 ...

近年来,随着公检法行业新业务不断上线,公安高清卡口、社采系统和人口库的升级,检察院统一业务软件、高清审讯系统改造,法院的数字法庭、电子卷宗等建设,使得数据每年都是以50-80%的速度递增。大多数公检法行业信息中心主任所要管理的级数据已经从TB级发展到PB级了。特别在公安行业,很多总队的信息中心数据量已经接近10PB。对于如此大数据量的管理,传统的管理模式让IT管理员感到有些力不从心了。

公检法行业大数据--- 之非结构化数据

这些数据中的结构化数据,也就是我们通常使用的数据库数据占据数据总量的20%左右,余下的80%都是非结构化数据。这些非结构化数据中主要是视频数据、各类图片、扫描件和各类文档数据。

我们认为非结构化数据重要性早已不亚于那些结构化了的数据库数据。首先,非结构化数据信息量10倍于结构化数据。其次,结构化数据中存放的大都是结果性数据,而非结构化数据中存放的是过程性数据。我们在还原一个案件不仅仅只需要一个结果就行,对过程信息的掌握程度于我们对还原案件真相也是必不可少的。在这些文件中存有大量的情报和工作经验,但随着岗位调动和电脑损坏,导致我们随时都有可能会丢失大量的文档数据,丢而失的都是我们的情报和经验,对于大数据时代来看,这些意味着线索、经验和生产力的覆灭。

然而,非结构化数据管理现状可以说是处于一种“无组织无纪律”的状态。在过去10多年信息化建设中,对于非机构化数据管理方面基本是零投入,更谈不上整体管理。非结构化数据存放地点五花八门,硬盘录像机中、U盘、个人电脑、服务器、邮件系统和FTP服务器中都会出现这些数据。要找一个文件可能要去10多个系统中去搜索,跨系统查询的结果大都是一无所获。在利用方面,我们最常用FTP文件服务器却很难应付大规模的应用。一个地市公安、检察院和法院的用户面对的用户群都是以千计数,而FTP在权限管理、数据保护和数据分享方面很难满足这样的用户数要求。

对于非结构化数据管理,我们认为要做到以下两点,即统一管理和深化应用。对于公检法单位来说,第一步要做的是把分散在各处的非结构化数据进行统一存放管理。大家都知道在数据中心数据管理级别远远高于普通终端,可以采用高可用、多节点和备份容灾系统,确保数据永不丢失。只要进入数据中心的文档云,可以说文档的价值就被永久的保存下来了。而如何让这些文档数据集中管理呢,在实际过程中,不仅要解决技术上的困难,还要克服制度上和工作习惯上的阻碍。

公检法行业大数据--- 之非结构化数据

实际上,我们可以按照三步实施的方法来解决非结构化数据的管理难题。

首先,建设私有网盘来吸引一线干警上传非结构化数据。在日常工作中,干警没有很好的数据管理习惯,文档随意存放,要用的时候经常找不到,而放在公有云上又是违法法规的。所以,如果有个基于内网的私有云盘,他们会非常乐意把所有文件都存放上去,方便今后工作。经过1年使用并形成习惯后,就完成了第一步数据集中存放。其次,可以在案件小组中实现人员间的数据共享。在日常办案中,常常需要临时组建侦破小组,时间从几个月到几年不等,小组成员之间相互交换数据只能靠U盘,既不方便和很影响效率。而现在可以用文档云中部门级共享的模式来实现这样的业务场景。最后,当单位使用有一定基础后,可以实现知识文库和非结构化情报数据平台整体迁移,以便充分挖掘文档知识的巨大价值。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据 结构化数据 数据库 非结构化数据 大数据时代 信息化
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...