首页 首页 大数据 大数据入门 查看内容

云中巨象——作为一种服务的Hadoop

木马童年 2019-1-14 01:35 5 0

Ashish Thusoo, Qubole的CEO和联合创始人,最近在 Enterprise Data World Conference (EDW)上谈到了作为一种服务产品的“云中巨象” Hadoop 。大数据作为服务而不是一个产品会成为一个趋势,Hadoop作为一种服务提供 ...

Ashish Thusoo, Qubole的CEO和联合创始人,最近在 Enterprise Data World Conference (EDW)上谈到了作为一种服务产品的“云中巨象” Hadoop 。大数据作为服务而不是一个产品会成为一个趋势,Hadoop作为一种服务提供,旨在帮助机构处理大规模运行的Hadoop服务的挑战和成本。这些基于云服务的解决方案也可以从云服务的其他功能中获益,如动态配置、计算和存储的灵活性以及在多个地区的可用性。

Ashish在开始谈论时说到,现在数据的性质,包括海里的交互数据,都是非结构化的。而不仅仅是我们长期以来传统应用程序里处理数据结构化数据。

分析的性质也发生了改变。Ashish谈到了分析值从描述性向规范性分析的发展。

  • 描述性分析(发生了什么?)
  • 诊断性分析(为什么发生?)
  • 预测性分析(将会发生什么?)
  • 规范性分析(我们怎样才会让它发生?)

云提供很多好处,如按需和弹性扩展架构,高可扩展的对象存储和处理,和自适应的基础设施。使用云大数据平台提供更快的生产时间、敏捷和基础设施的灵活性以及显著降低成本。

Virtual Private Cloud (VPC)提供隔离访问计算和存储,以及提供安全实践。VPC的安全性包括云存储中的数据和网络数据,以及基于访问计算和存储的角色加密选项。

现代数据处理平台包括多个处理引擎,可以处理各种案例,如下面列举出:

  • 复杂批次处理SQL,Hive
  • 数据科学,Spark
  • 简单交互SQL查询,Presto
  • 批量数据清洗(ETL),Map Reduce

Ashish 还谈论了基于云平台的大数据参考架构,包括多租户数据访问、引擎统一、云计算服务和可移植性服务等。他总结报告说,Hadoop作为一种服务提供在大数据架构决策时是一个吸引人眼球的选择。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

创始人 大数据 云服务 解决方案 应用程序 结构化数据
0
为您推荐
大数据告诉你,9月智能手机行业动态

大数据告诉你,9月智能手机行业动态

2014年9月,中国智能手机市场在售机型的数量仍在1100款以上,但参与竞争的厂商数量则…...

秒级处理海量数据,浙江移动大数据平台是怎么做到的?

秒级处理海量数据,浙江移动大数据平台是怎

项目背景 近年来,随着云计算、移动互联网、物联网等技术的发展,以及智能手机、平板…...

实体零售商的大数据玩法:监控顾客的手机 隐私是最大障碍

实体零售商的大数据玩法:监控顾客的手机

北京时间7月15日消息,和许多实体零售商一样,诺德斯特姆公司(Nordstrom)也想增加对…...

整合AI和数据科学新利器:基于Apache Spark的Hydrogen项目

整合AI和数据科学新利器:基于Apache Spark

作者:Reynold Xin 译者:Sambodhi 以往数据集的准备以及模型的训练工作是分开的,这…...

旅游“大数据”需要“云计算”

旅游“大数据”需要“云计算”

“五一”小长假第一天,南京多个景区景点出现了人挤人、人看人的盛况,其中,古林公园…...

吐槽:25家硅谷大数据/SaaS公司技术博客

吐槽:25家硅谷大数据/SaaS公司技术博客

本文主要介绍美国硅谷数据类技术公司,也可以说是SaaS领域。有一些笔者也没有深入了解…...