首页 首页 大数据 查看内容

数据仓库(DW)是什么,数据仓库特性是什么?

木马童年 2017-11-17 14:41 225 0

面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术,其分别为:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来储存和处理这些数据

        面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术,其分别为:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来储存和处理这些数据。

timg.jpg

         数据仓库是指具有主题导向、整合性、长期性与稳定性的数据群组,是经过处理整合,且容量特别大的关系数据库,用以储存决策支持系统所需的数据,供决策支持和数据分析使用。

           1.主题导向,满足日常作业需求的信息系统,其重点在于相关的应用软件是否符合业力所需,而为使系统响应时间缩短,其数据库和文件系统的设计常各自独立,且数据内常用重复不一致的现象。就解行业而言,以贷款、放款、或信用卡部门为例,各部门均使用其专属的客户档案,因其含有业务所需的数据字段。

            数据仓库的信息系统,其重点在于企业经营时,重要主题组件。同以银行业为例,客户、产品及交易即为重要的主题组件。各应用系统中此三类主题,在通过相关的整合后,便能反映企业的经营状况。

            2.具整合性,当确认相关的主题组件后,各应用系统的数据须经过整合,以例执行相关分析作业。例如,数据内容的一致性(以性别为例,男/女、M/F、0/1等;以长度为例cm、m、Feet等;以日期为例,干支纪年、公元年等);数据字段命名的统一;数据属性的统一。另外,为避免数据的重复及不一致的现象,须执行相关正规化的作业,3NF为一可用的数据模式。

            3.具长期性,日常性作业的信息系统,受限于软硬件设备的容量及响应时间等因素,常无法保留太长时间的信息(60~90天)。而数据仓库系统为了执行趋势分析,常须保1~10年的历史数据。

             4.具少变性,其数据内容常常频繁地存取及异动。当数据从日常性作业的信息系统中转入数据仓库系统后,主要用于大量数据查询及分析,事实上,从忠于原始数据源的角度来看,异动数据仓库的数据,是不合理且不道德的做法。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据 数据仓库 数据源
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...