首页 首页 大数据 查看内容

数据质量成为大数据应用的“拦路虎”

木马童年 2019-6-8 09:55 27 0

  IT界正在被云计算、社交计算和移动计算这三个相关联、且百年一遇的技术趋势而重塑,这些大趋势正在改变数据世界,刺激数据爆炸式增长――更大数量、更广泛的数据种类、更高速度和更多商业价值。数据是企业数据中 ...

  IT界正在被云计算、社交计算和移动计算这三个相关联、且百年一遇的技术趋势而重塑,这些大趋势正在改变数据世界,刺激数据爆炸式增长――更大数量、更广泛的数据种类、更高速度和更多商业价值。数据是企业数据中心的重要资产,获取并维护高质量数据,对高效的IT和业务运营至关重要。 中国论文网 https://www.xzbu.com/1/view-7040328.htm  数据量越来越大,有价值的信息获取难度就越大。获取不到有用的信息,就不能继而进行数据挖掘和数据分析。但有许多因素会导致这些“数据资产”的贬值,比如数据的冗余和重复导致信息的不可识别、不可信,信息时效性不强,精确度不够;结构或非结构数据整合有困难;人员变动引发的影响;数据标准不统一,相关规范不完善造成对数据理解的不充分等等。

在BI (Business Intelligence,商业智能)时代,很多企业进行了巨大的BI项目投入,但依然不能逃脱项目失败的惨痛教训,其最根本的原因,就是用于商业智能分析的数据源头不能提供高质量的数据。那么在大数据时代到来之时,如何从海量数据中获取高质量的信息则成为大数据应用成败的关键因素之一。数据质量管理拥有一个完整的生态链,而数据集成以及整合是提高数据质量的第一道关键手段。

获取源数据后,需要根据使用的人员需求以及技术能力,定义数据质量的规格要求。因此,针对不同行业、业务和技术,数据质量的规格要求也是不一样的,例如,已经广泛用于制造企业的元数据标准就是有针对性的行业数据质量规格标准。

我们以统一集成监控为例,来说明数据集成与整合的基本方法。惠普新一代总控中心的集成平台逻辑架构包括四个层面,自下而上分别为:监控采集层、数据集成层、业务应用层和信息展示层。

监控采集层:使用监控、采集、感知等技术对IT系统、资源及环境对象进行信息采集;

数据集成层:主要包括对底层监控采集的数据进行集成和整合,包含了监控数据集成、集中告警、KPI(关键绩效指标)及数据分析模型、流程管理及报表管理等;

业务应用层:在数据集成和整合后,可以提供不同的解决方案应用;

信息展示层:提供人机交互的统一门户,除了提供安全控制以外,为不同类型角色和不同访问手段提供不同的视图。

在这四个层面中,数据集成层完成了“集成与整合”的功能,其中 “监控数据集成”完成了对不同类型监控数据的格式转换和集成,“资产及配置模型”以及“KPI及数据分析模型”完成了第一道数据整合的工作。

总而言之,数据的整合和优化是一个任重而道远的过程,数据质量管理是一个综合的治理过程,不能只通过简单的技术手段解决,需要从企业的高度加以重视,才能在大数据世界里博采众长,抢占先机。

转载注明来源:https://www.xzbu.com/1/view-7040328.htm

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

云计算 技术趋势 企业数据 数据挖掘 数据分析 数据资产
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...