首页 首页 大数据 查看内容

如何拥抱大数据时代

木马童年 2019-6-10 14:15 49 0

  大数据虽数据量大,但多数大样本都不是随机的,推断总体都有系统偏差,因而抽样调查等统计方法仍然是不可取代的。 中国论文网 https://www.xzbu.com/1/view-7113815.htm  在上世纪80年代初,就已经有了大数据 ...

  大数据虽数据量大,但多数大样本都不是随机的,推断总体都有系统偏差,因而抽样调查等统计方法仍然是不可取代的。 中国论文网 https://www.xzbu.com/1/view-7113815.htm  在上世纪80年代初,就已经有了大数据的概念和相关应用,但是它深入社会和百姓的视野,则是最近几年的事情。2012年,美国政府由白宫牵头,启动了一个“大数据发展计划”,这个计划的推出被视为进入大数据时代的标志性事件,其重要性堪比1992年美国政府推出的“信息高速公路计划”。在相似的时间,欧盟各国陆续开放了很多政府数据,日本也启动了一个大数据项目,联合国2012年发布大数据报告,全球掀起了大数据研究和应用的热潮。

大数据的发展,是以网络和计算机技术的高速发展为依托的。1965年英特尔创始人之一的摩尔先生提出,未来的网络计算机发展,大体上每隔1年到2年,等面积集成电路中的晶体管数量将会增加一倍,即计算速度会提高一倍,同等的计算,成本会降低一半。经过近50年的实践,验证了摩尔先生的预测,也就是人们常说的“摩尔定律”。计算机和网络科技的高速发展,使得大量网络数据,包括音频的、视频的、图片的、文本的各种各样的数据,得以保存,并转化为我们可以深入分析的数据。于是,大数据的研究和应用也就水到渠成了。

上世纪八九十年代,我们在很多科技领域和国外差距很大,但是进入互联网时代以后,这种状况逐渐改观。进入大数据时代,我们可进一步缩小与美国等科技发达国家的差距,甚至具有后发优势,在某些领域甚至可以达到国际先进水平。

大数据影响统计学发展

统计学就是数据科学,大数据对统计学的发展影响巨大。大数据对于统计学的发展,既是机遇又是挑战。说它是机遇,是因为大数据研究和应用会带来大量人才需求,这对统计学的发展是一个巨大的利好,可以说,目前统计学发展正处于历史上最好的时期。这几年,从全国范围看,统计学专业毕业生就业状况都不错,今后会更好。说它是挑战,是因为大数据可能部分颠覆传统的统计方法。

大数据对统计学带来的上述挑战确实存在,但是不会导致传统抽样调查的需求减少。因为大数据虽然数据量很大,但绝大多数情况下这些大样本都不是随机的,推断总体都有系统偏差,因而抽样调查等统计方法仍然是不可取代的。此外,在很多时候,科研和商业应用、科学决策还是需要进行准确的统计分析的。

从人才培养的角度看,统计学在教学内容、教学方法、人才培养模式等方面需要进行变革,以适应大数据时代的人才素质要求,这是统计学科发展面临的另一挑战。

大数据应用是把双刃剑

大数据将对教育产生非常深远的影响。目前可以预见的主要有两个方面:一是通过大数据,分析学生成长环境、兴趣爱好、能力特长等,有利于教育者对学生加深了解,有利于因材施教,使得根据学生个人兴趣、特长、能力进行个性化教育成为可能;二是带来教学内容、教学方式方法上的改变,立体化教学、案例教学、互动教学等方式的运用使得教学更加生动,MOOCs就是大数据时代教学变革的一个例子。大数据可以促进全世界优质教育资源共享,发挥每个教师的优势特长。大数据将对教育产生一系列的深远影响,不可低估。

在大数据时代,个人的相关数据信息轻易可得,个人隐私越来越不安全。其实不仅仅是个人隐私,包括国家安全和企业的商业机密,也受到很大的威胁。对于国家而言,一方面要积极推进数据对外开放,凡是不涉及个人隐私、国家安全和商业机密的数据,都应该公开,这样才能避免形成数据孤岛,充分发掘和利用数据资源;另一方面,在开放数据的同时要加强相关立法,这两个方面是互相补充的,只有这样,才能赶上时代发展的步伐,充分发挥我们这个人口大国、经济大国的数据资源优势。

从个人的角度讲,要加强个人信息防护意识,在上网发布相关信息时,要了解哪些是可以发的,哪些是不能发的,以免给自己带来困扰。

采用协同创新、5校合作的培养模式

采用种协同创新、5校合作的培养模式,完全是由大数据人才的特点决定的。第一,大数据人才是多学科交叉型人才,不是某一个学科可以单独培养的。现在进行数据分析,要有数据库和软件等计算机方面的知识,还要有数学和统计方面的知识和能力。这就涉及到中国学科体系中“统计学”和“计算机科学与技术”两个一级学科。培养出的毕业生到了单位,可能还需要财经、新闻、生物医学和管理等方面的知识。

第二,这是一类应用型人才,必须重视实践环节。他们毕业后不是去做研究,而是投身业界,要能很快上手。因此,这个协同创新平台,不仅有5所高校参与,还有人民日报、新华社、中央电视台等十余家媒体,中国移动、中国电信、中国联通、百度、阿里巴巴、腾讯等大数据公司和用人单位,包括云计算的一些基地共同参与,是一个“政、企、产、学、研”一体的人才培养平台,也就是说,人才培养环节是交叉的。

为什么把人才培养的层次定位于硕士?目前全国有200多所本科院校开设统计学专业,75所高校设有统计学博士点,78所高校开办“应用统计硕士”专业学位。在大数据时代,改革最急需的人才是硕士层次的,正好我们有“应用统计专业硕士”这样一个新的专业学位,利用这个协同创新平台来培养大数据人才,也与专业学位的改革精神相一致。

5所学校参与培养,就是出于学科交叉的考虑。中国人民大学统计学院的学科、专业设置是综合的、应用的,理论和应用兼而有之,应用领域涉及卫生、健康、经济、社会、管理等,总体实力较强。而北京大学和中国科学院大学在计算机、数学和统计理论研究方面相当强,掌握大数据分析技术的前沿。中央财经大学和首都经贸大学是财经类为主的院校,这两所学校侧重于应用人才的培养,特别是面向经济、管理、社会这样的领域。他们和很多行业企业、金融机构有着密切联系。这5所高校分别属于教育部直属高校、中国科学院的高校和地方高校3种类型,各有特色,优势互补,能够建成一个很好的、学科交叉的人才培养协同体。

培养环节的交叉,主要体现在企业、用人单位的参与上。

我们经过多次研讨,并参考了美国顶尖的20所大学大数据人才培养的方案和课程,确定了“大数据分析计算机基础”、“大数据分析统计基础”、“大数据分布式计算”、“大数据挖掘与机器学习”、“非结构化大数据分析”和“大数据建模案例研究”6门必修核心课程。每门课程由一个教学团队,5所学校各选一名最优秀的教师,然后5位老师一起研究一门课程、同上一门课程,而且还有大数据企业的专家参与。我们还采取双导师制,采取个性化的教学方式,从生源来看,首批学生主要来源于计算机和统计两个学科,计算机专业背景的本科生进来以后,将会重点加强统计分析能力的培养,而统计、数学、物理等专业背景的本科生进来以后,将重点加强计算机、大数据软件等方面的学习。

(以上内容系根据对袁卫在“2015中国两化融合大会”后的访谈整理而成,未经本人确认)

转载注明来源:https://www.xzbu.com/1/view-7113815.htm

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

大数据 大数据时代 大数据项目 计算机技术 英特尔 创始人
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...