首页 首页 大数据 查看内容

大数据的下一步:AI、ML、DL

木马童年 2019-8-11 02:50 17 0

开源大数据技术Hadoop,在今年刚好满十岁。在大数据的第一个十年,Hadoop成功地让大数据成为最被看好的技术,这股大趋势,不仅影响资讯科技的走向,更成为商业热烈讨论的议题。 之所以如此,一方面是随著网际网络、 ...

开源大数据技术Hadoop,在今年刚好满十岁。在大数据的第一个十年,Hadoop成功地让大数据成为最被看好的技术,这股大趋势,不仅影响资讯科技的走向,更成为商业热烈讨论的议题。

之所以如此,一方面是随著网际网络、云端运算、智慧行动装置的普及,使得Google、Facebook、Twitter等大型互联网公司的用户数量,呈现爆炸性成长,为了应付全球用户的规模,这些知名互联网技术公司纷纷投入大数据技术,使得大数据成为顶尖技术的指标,瞬间成了抢手的当红炸子鸡。

另一方面,这些互联网公司不仅是采用Hadoop这样的开源大数据技术,更雇用软件高手开发符合自己需求的大数据技术,再将这些大数据软体的程式码开源。如此一来,既吸引更多高手加入开发,亦回馈开发社群,而这样的效应,也使得大数据开源技术的发展,如火如荼,至今与Hadoop相关的开源软件已超过一百个,形成庞大的Hadoop生态圈。

在接下来的第二个十年,大数据将会如何发展呢?今年中,我参加在大数据领域颇负盛名的Strata & Hadoop World技术大会,原本我期待这场以大数据技术Hadoop为名的技术会议,主要探讨的议题,应该围绕著Hadoop生态圈的开源大数据技术;然而,在两天的大会主题演讲,不论上台的是Google、Microsoft这样的国际大厂,或是百度、阿里巴巴、蚂蚁金服、小米等中国网路大公司,谈的都是人工智慧(Artificial Intelligence,AI)、机器学习(Machine Learning,ML)、深度学习(Deep Learning,DL)等AI议题。

纵使那两天的下午议程当中,仍有很大的比例,在探讨大数据即时分析、串流运算等议题,然而大会主秀——通常是科技公司展现实力的主题演讲,却是不约而同谈AI、ML及DL等技术议题。

在这些原本就是大数据技术领头羊的眼中,很明显地,人工智慧、机器学习与深度学习是大数据的下一步,也是大数据第二个十年的兵家必争之地。

然而,迈向第二个十年后,大数据就不再重要了?其实并不然,这些技术依然重要,只是下个十年的发展,将是以AI为导向的大数据。关于这部份,我们可以从催生Spark、Mesos的柏克莱AMPLab实验室来观察。

在大数据第一个黄金十年的后半段,以微批次串流运算技术窜红的Spark,引领风骚,而Spark的诞生地——柏克莱大学AMPLab,却将在2016年底吹熄灯号。AMPLab由两位拥有软体创业经验的教授主持,在目前的6年计画期间,推动许多开源软体研究专案,最知名的当属分散式资源管理系统Mesos、串流运算平台Spark、分散式记忆体储存系统Alluxio(之前称为Tachyon),在个别领域都居于技术领先的地位。

既然AMPLab有如此重要的研究贡献,为何结束呢?因为柏克莱实验室的传统,普遍以5至6年投入研究,解决一个重要的问题,如今AMPLab已经完成了阶段性使命:打造开源大资料分析技术,接下来,他们将以新成立的实验室RISELab,解决大数据的下一个新问题。

新问题是什麽呢?从实验室的名称Real-time Intelligent Secure Execution,即可看出端倪。在上个阶段,AMPLab是从大数据批次资料处理技术,发展至大数据分析技术,而下个阶段的RISELab,则要克服即时资料处理的问题,发展出即时决策的应用。他们的目标是,研发出比Spark的反应速度快100倍、输出快1000倍的新一代大数据技术,并且结合线上机器学习与更自动化的演算法,在确保资料加密安全与隐私,且不牺牲效能的情况下,从即时资料中做即时决策。

未来6年RISELab能否达成目标,尚无人能知。但很肯定的是,大数据的下一步,是以AI为导向的新一代大数据。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据技术 大数据 互联网 互联网技术 开源技术 开源软件
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...