首页 首页 大数据 查看内容

数据仓库(DW)是什么,数据仓库特性是什么?

木马童年 2017-11-17 14:41 149 0

面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术,其分别为:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来储存和处理这些数据

        面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术,其分别为:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来储存和处理这些数据。

timg.jpg

         数据仓库是指具有主题导向、整合性、长期性与稳定性的数据群组,是经过处理整合,且容量特别大的关系数据库,用以储存决策支持系统所需的数据,供决策支持和数据分析使用。

           1.主题导向,满足日常作业需求的信息系统,其重点在于相关的应用软件是否符合业力所需,而为使系统响应时间缩短,其数据库和文件系统的设计常各自独立,且数据内常用重复不一致的现象。就解行业而言,以贷款、放款、或信用卡部门为例,各部门均使用其专属的客户档案,因其含有业务所需的数据字段。

            数据仓库的信息系统,其重点在于企业经营时,重要主题组件。同以银行业为例,客户、产品及交易即为重要的主题组件。各应用系统中此三类主题,在通过相关的整合后,便能反映企业的经营状况。

            2.具整合性,当确认相关的主题组件后,各应用系统的数据须经过整合,以例执行相关分析作业。例如,数据内容的一致性(以性别为例,男/女、M/F、0/1等;以长度为例cm、m、Feet等;以日期为例,干支纪年、公元年等);数据字段命名的统一;数据属性的统一。另外,为避免数据的重复及不一致的现象,须执行相关正规化的作业,3NF为一可用的数据模式。

            3.具长期性,日常性作业的信息系统,受限于软硬件设备的容量及响应时间等因素,常无法保留太长时间的信息(60~90天)。而数据仓库系统为了执行趋势分析,常须保1~10年的历史数据。

             4.具少变性,其数据内容常常频繁地存取及异动。当数据从日常性作业的信息系统中转入数据仓库系统后,主要用于大量数据查询及分析,事实上,从忠于原始数据源的角度来看,异动数据仓库的数据,是不合理且不道德的做法。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据 数据仓库 数据源
0

聚焦多智时代,引领智能变革

© 多智时代(www.duozhishidai.com)版权所有 / 工信部备案 豫ICP备15012664号-1