首页 首页 大数据 查看内容

讨论 | 国内大数据发展简史&产业化落地

木马童年 2019-8-15 23:25 94 0

引子 之所以想要说一说这个话题,是因为下午在技术群中不经意间,就类似话题进行了比较剧烈的脑暴讨论。 当时就一直在思考这个问题,后续完了自己又想了几遍,发现确实有所得,也挺多东西想表达一下的。 大数据 ...

引子

之所以想要说一说这个话题,是因为下午在技术群中不经意间,就类似话题进行了比较剧烈的脑暴讨论。

讨论 | 国内大数据发展简史&产业化落地
讨论 | 国内大数据发展简史&产业化落地

当时就一直在思考这个问题,后续完了自己又想了几遍,发现确实有所得,也挺多东西想表达一下的。

大数据在国内的发展简史

大数据是在2009年开始相对比较正式引入国内的,基本上与Hadoop的“入侵”国内同步。

但在那时其实并没有实际落地的东西,除了一些大公司在试探性使用,直到2012-2013年,国外已经完成一轮“探险”,国内才陆续开始思考大数据如何落地的事了。

确实是这样的,国内在新技术领域上,一向落后于国外半拍,而我也恰恰也是在那个时候“入坑”的。

那个时候其实很多公司企业(除了当时BAT内部使用的案例),也是在尝试性的涉足大数据领域,一边追逐技术的完善,一边在探索大数据与实际业务的结合点。

直到2014年,算是大数据在国内的一个爆发点,正式的转折点。

首先,以Hadoop为代表的生态趋于成熟,甚至结合内存处理领域、数据实时处理领域,已经形成了一套完整的大数据平台技术解决方案。

其次,已经越来越公司结束了探索性实验,用实际的成果尝到了大数据这种处理模式的好处,已经形成了越来越多的实际可参考的良性案例。

当然,最重要的是确实存在实际的规模数据处理的需求。其实这个需求一直存在,只是很多时候没有找到合适的契机爆发出来。

也就是从2014开始,大数据的人才市场需求在急剧扩增,很多其他IT领域开发人员纷纷转型到数据行业,其中以逐渐没落的传统IT行业为代表。

有人才市场需求,进一步促进了大数据培训市场的发展,各种大数据培训机构如雨后春笋般的出现。

其实这也是没办法的事,因为当时还没有哪个高校开设有大数据相关的课程呢。

当然,这波浪潮同样卷到了学术界,部分高校也意识到了这个技术大势,陆续有不少高校开始开设大数据相关的专业课程。

2015年,随着互联网的发展,市场各种互联网应用需求的饱和,导致了流量红利的消失,让很多企业公司不得不考虑通过数据来提升效率以及推进用户体验,例如推荐系统、个性化服务等。

资本市场从2014-2015年逐渐介入,进一步促进各大互联网企业公司向数据化转型,使得大数据这个领域进一步达到高潮。

那么,2016呢?

我们知道,资本市场算是迎来半个寒冬,流量红利的消失,o2o在15年底都死的差不多了,16年让资本市场变得更谨慎。

但是,就算是这样,国内很多以大数据为技术驱动的公司依然拿了不少融资,包括神策、诸葛IO、GrowingIO等第三方数据分析公司,明略数据等这种针对于服务偏传统行业的数据公司,甚至如DataEye类似垂直领域的数据分析公司都活的好好的。

是的,资本依然看好大数据这个领域方向。

同时,在国家政策方面,2016年可谓是大数据的国家政策元年,各种国家政策开始偏向大数据。

这意味着,大数据已经从半个风口的状态,过渡到理性、稳健的状态,这是一个良性的状态。

透过现象看本质,2016年之后呢?

正如上面所说,目前大数据已经逐渐从“潮流”这种略带风险性的标志状态,过渡到稳健、良性发展的状态。

提前“入坑”的童鞋,相信已经享受到“潮流”带来的部分福利,包括比其他普通IT同行们略高的薪酬待遇,以及更多、更自由的选择性等。

好吧,其中也包括我了~~ 哈哈

那么,后续会是一种什么样的情况呢?

首先,数据化依然会是一个不可逆的趋势,在资本以及政策的驱动下,更多的公司会逐渐的进行数据化,甚至包括很多传统IT产业,一样挡不住这个大势。

那么在人才市场需求上的情况呢?个人感觉需求还是在的,因为市场远没有达到饱和,但是福利待遇会有所下降。

这是为什么呢?

2016-2017年,各大高校逐渐会开始投放专业的“正规军”,是的,那些大数据专业的学生们将被正式投放到市场中了。

此外,从2014年到2016年,大数据的培训市场一直在增加的,不管是线上的还是线下的。

这意味着,每年,哦不,应该是每几个月都会有大量的大数据速成工投放到人才需求市场中。

最重要的一点,经过四五年的大浪淘沙,市场已经有一大批“自学成才”的“老司机”可以撑起场面了。

在人才需求以及人才的待遇上,而不是一才难求的现象了,也会逐渐的趋于良性,趋于理性(之前一篇大数据招聘乱象的文章,喜欢可以看看《你们是不是真的很缺大数据工程师?》)。

所以,如果你从大学刚毕业出来,发现大数据没有传说中那么“香馍馍”,也不要奇怪;而从大数据培训流水线上下来的童鞋们,也需要做好准备,薪水可能无法跟你想象中那样了,翻个几倍之类的。

不过“老司机们”到不用太过于担心,虽然大数据的人才市场趋于日渐饱和,但是“驾龄”足够,“车”开的足够溜的,依然只有那么一小戳人。

你依然是稀缺资源,所以不要怕怕。

你看我就不怕怕,哈哈~~

虽然,这一切看似良好,但是有些东西依然值得我们更进一步的深思。

那就是,大数据产业化情况。

正如之前在技术群中进行脑暴讨论的那样,这几年大数据虽然市场需求不少,但是依然难以达到产业化的状态。

讨论 | 国内大数据发展简史&产业化落地

这里贴一个产业化的概念:产业化是指某种产业在市场经济条件下,以行业需求为导向,以实现效益为目标,依靠专业服务和质量管理,形成的系列化和品牌化的经营方式和组织形式。

目前大数据的实际落地形式大部分都以辅助、加速其他业务为主,起一个催化剂,提升效率,加快速度的作用,鲜有看到以大数据作为独立产业而存在的。

当然也有,比如上面提到的第三方数据分析商、垂直领域的DataEye,以及为企业提供大数据解决方案的明略数据等,也算是以大数据为根深立命而存在的。

但是总体来说,真的不多,而且绝大部分都是以2B的形式存在。我们知道,从格局上来看,2B的产品永远是难以做到2C产品那种真正宏伟规模,改变产业格局的。

所以,从这点来说,虽然你市场需求放在这里,但想真正以大数据为切入点、为立足的根本做点事,其实也没有想象中那么容易。

纠结~~

不过作为大数据领域的半个“老司机”,依然是希望大数据这个技术领域、这个行业,有一天能够形成独立的、推动人类进程的一些东西。

亦如互联网、亦如社交网络、亦如电子商务、亦如移动互联网等!

结语

最近一直有很多新手同行们向我请教大数据方向上的一些事,自己也一直在思考互联网开放数据落地变现、以及大数据产业格局相关的问题。

所以,想的多了,对一些东西还是有一些看法的,藏在心中不吐不快。

也希望,上面闲话里的一些东西能够引起你的一些共鸣,当然反驳也欢迎,欢迎一切与人格无关,与技术有关、与业态有关的探讨。

下次希望有时间,能和大家一起探讨一些关于互联网开放数据落地变现相关的话题,这也是我目前一直想探索的东西,下次如果有所收获再写点 东西吧。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据 大数据平台 解决方案 数据处理 互联网 用户体验
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...