首页 首页 大数据 查看内容

大数据时代:大数据的未来在云端

木马童年 2020-3-23 03:05 44 0

现阶段数据正在呈几何级数增长,来自社交媒体(微信、微博)以及传感器设备的非结构化数据受到了越来越多的关注,而与传统企业交易系统的结构化数据一起,它们将有可能带来新一轮的产业变革。机器学习,自然语言处理 ...

大数据时代:大数据的未来在云端

现阶段数据正在呈几何级数增长,来自社交媒体(微信、微博)以及传感器设备的非结构化数据受到了越来越多的关注,而与传统企业交易系统的结构化数据一起,它们将有可能带来新一轮的产业变革。机器学习,自然语言处理,舆情分析等词汇几乎每天都会出现在媒体的报道当中,然而真正讲它们大规模投入应用的企业却少之又少。

如今,企业CIO几乎人人都在讨论大数据,许多人认为大数据就是搭一个Hadoop集群,把所有的数据全部存进去,再通过各种各样的API调用进行分析。然答案并不是这么简单,大数据与IT方方面面都有联系,从基础设施到中间层再到前端的应用。Hadoop不是万能的,它只是大数据的一部分,想要真正驾驭大数据,需考虑更多的事情。

未来商业智能与ETL的发展

除了存储方案之外,我们还应该关注前端应用。传统的ETL也将经历变革。业务人员肯定不希望为了导入一点额外的数据就让IT部门更改schema,这样的工作量和成本太高了。理想的状态是有一个简单的工具,让业务人员就能够做即席查询,比如Tableau就能够解决这样的问题。然而,随着数据量的不断增长,TB甚至PB级别的数据需要进行处理,那么软件的成本就要考虑在内,这时候你该怎么办?

ETL和BI工具的未来将运行在Web端,任何的业务人员都能够用它来生成报表。动态的HTML5用户界面可以通过拖拽就完成数据的查询与报表生成,如果你还需要对业务用户进行培训才能够使用这些工具,那么就真的OUT了。

新一代的BI工具能够应对实时、图形化、大对象以及非结构化数据的处理,同时能够将这些数据存储在云端。每种数据可以托管在不同的云服务上,但都可以通过一个API进行访问。企业无需再关心什么样的数据用什么样的存储,云服务提供商就可以搞定。

数据究竟有哪些问题?

事实上,我们要解决的大数据最基本的问题是存储和报表。我们该如何存储快速增长的数据,关键是在业务人员需要用到这些数据的时候,可以快速地访问。即席查询生成报表,对业务进行预测,充分利用大数据流中隐藏的价值。

你的数据都有哪些类型组成?关系型数据、非结构化数据还是音频视频?你如何存储不同类型的数据,然后让企业内部的人员可以访问这些数据?答案其实在云端,云存储技术基本上可以应对大数据的存储需求,你可以存储任何类型的数据然后轻松地进行扩展。高端的SAN存储技术在大数据时代已经落伍,而且高昂的成本是企业所无法承受的。SAN存储适合的是关键业务数据,每一条记录对企业都是至关重要的。大数据正好相反,比如销售订单,这些数据是绝对不能丢失一条的,而一条微博或者日志文件怎没有这么高的要求。包括华为、亚马逊等云存储服务可以使用廉价的设备为企业提供大数据存储解决方案,实现可靠、可扩展并且性价比更高的存储。

当然,电视的出现并未让广播电台灭亡,在大数据时代也是如此。SAN依旧有它的价值,但并不是所有数据都要存在上面。我们需要云存储是因为不同类型的数据都有着特殊的存储需求。比如读密集型的数据一般需要关系型数据库;日志文件只使用HDFS存储就可以;需要大量写操作的数据则需要NoSQL数据库;而存在大量读写操作的系统就需要强大的大数据架构来作为支撑。你的系统也许需要低延迟、高一致性、高度可靠或者需要控制存储的成本,每一种需求都意味着不同的存储解决方案。低延迟可能意味着要上SDD或内存设备,高一致性意味着要建立交易系统,高可靠意味着要使用数据库复制功能。所以,大数据已经告别了“放之四海皆准”的关系型数据库时代,Oracle+小型机+高端存储(或者说IOE)的组合已经不能处理所有的数据难题。

那么企业到底需要什么?答案是以服务的方式提供的灵活可扩展的云存储解决方案,能够满足上述不同的存储需求。比如亚马逊的RDS,DynamoDB,华为的对象云存储等。当然,并不是所有的云存储都可以满足需求,企业需要更高的灵活性,同时出于延迟以及法规遵从等原因,这就要求能够从不同的系统中将数据快速方便地进行迁移,从内部系统到公有云,或者从一个云提供商迁移到另一个云提供商。

越来越多的企业开始意识到,数据分析已经成为了一种“战略武器”。下一代的商业巨头,也许就会从那些知道如何收集数据并把它们转化有价值洞察力的企业中诞生。千里之行始于足下,在构建大数据分析模型或者投入机器学习,招聘数据科学家之前,企业需要先解决好如何存储大数据,而答案就在云端。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

社交媒体 非结构化数据 结构化数据 机器学习 自然语言处理 大数据
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...