数智资源网
首页 首页 大数据 查看内容

大数据与云计算有什么关系?

木马童年 2020-10-16 12:55 18 0

大数据是继云计算、物联网后的又一全球热点问题,因其潜在的巨大价值而受到各界的广泛关注。大数据已经成为一种战略资源,具有广阔的应用前景。 大数据与云计算 为解决互联网应用对大规模计算能力、数据存储能力 ...

大数据是继云计算物联网后的又一全球热点问题,因其潜在的巨大价值而受到各界的广泛关注。大数据已经成为一种战略资源,具有广阔的应用前景。

大数据与云计算

为解决互联网应用对大规模计算能力、数据存储能力的迫切需求,云计算的概念被提出。云计算是一种分布式计算平台,通过虚拟技术将海量的硬件资源和虚拟资源虚拟成虚拟资源池,并根据需求任务的大小,向虚拟资源池获取相应的计算和存储资源。

在大数据处理的需求下,出现了许多优秀的云计算平台,例如Apache开源的Hadoop、 Google的MapReduce、微软的Dryad等。

在处理格式多样的大数据时,云计算能协调组织众节点,提供廉价的资源和服务,具有较可靠的可扩展性和容错性。然而,对于大规模复杂的应用系统来说,云计算还有诸多的技术问题有待深入研究。

为应对数据密集型服务,云计算提供分布式并行编程技术、分布式并行数据库技术,可通过开源的编程接口和工具来调用服务,其优势是能高效处理结构简单的大数据,但对关系复杂的大数据的处理,在效率和准确率方面还不能令人满意。

大数据技术的目标是解决应用中多源、异构、海量数据的管理和使用问题,但其本身不具备处理大规模数据的存储资源和计算资源的能力,因此必须在已有成熟的技术基础上,引入新的与之相对应的大数据存储和计算平台。

云计算以数据为中心,对大数据集进行处理,并向用户返回高效服务,具有并行化、虚拟化、按需服务等特点。从数据管理角度来说,大数据技术是对数据组织结构的描述,研究重点是数据的查询、更新、索引等操作技术;而云计算则是一种分而治之,按需索取的大数据分布式服务模式。

这两个概念提出的背景都是为满足海量异构数据的组织和管理要求。从相互之间的影响来看,前者为后者提供了广阔的应用背景,后者为前者数据管理提供了存储和计算资源,两者相互促进,相互依存。

免责声明:内容来源于公开网络,若涉及侵权联系尽快删除!

大数据 云计算 物联网 互联网 计算能力 存储能力
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...