首页 首页 大数据 查看内容

2017年关于深度学习的十大预测

木马童年 2019-8-12 17:00 101 0

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:) 1.硬件将加速一倍摩尔定律(即2017年2倍) 如果你跟踪Nvidia和Intel的发 ...

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:)

2017年关于深度学习的十大预测

1.硬件将加速一倍摩尔定律(即2017年2倍)

如果你跟踪Nvidia和Intel的发展,这当然是显而易见的。Nvidia将在整个2017年占据主导地位,只因为他们拥有最丰富的深度学习生态系统。没有头脑健全的人会跳到另一个平台,除非味深度学习开发了足够的生态系统。Intel Xeon Phi的解决方案胎死腹中,等Nervana芯片进入市场后,性能将在2017年中期赶上Nvidia。

Intel的FPGA解决方案可能只是因为经济性而被云提供商采纳。功耗是需要减少的第一个变量。Intel的Nervana芯片可能会在2017年年中时达到30万亿次浮点运算。这是我的猜测,因为现在Nvidia已经达到了20万亿次浮点运算。我打赌2018年之前,Intel不会产生重大影响。Intel可能拥有的唯一的王牌是3D XPoint技术。这将有助于改善整个硬件堆栈,但不一定是核心加速器能力,考虑到GPU加速器的使用HBM2堆叠的芯片性能的原因。

Amazon已经宣布他们的云实例基于FPGA。这是基于Xilinx UltraScale +技术,在单个实例上提供6,800个DSP片和64 GB内存。然而,令人印象深刻的是产品的I/O绑定不提供HBM版本的UltraScale。与Nvidia、Intel甚至AMD相比,较低的内存带宽解决方案可能会让开发人员暂停投资更复杂的开发过程(即VHDL,Verilog等)。

最近新闻报道,AMD公司发布了新的AMD Instinct line of Deep Learning accelerators。这些规格与Nvidia硬件相比具有极强的竞争力。这次发行计划2017年初上市。这可能有充足的时间,使AMD Rockm软件成熟。但是,在AMD实际提供解决方案之前,不要期望从Nvidia进行大规模迁移。

2.卷积网络(CNN)将主导,RNN/LSTM将会被淘汰。

CNN将是深度学习系统中流行的基本模型。具有其经常性配置和嵌入式存储器节点的RNN和LSTM将用得更少、更简单,因为它们将不具备基于CNN的解决方案的竞争性。就像GOTO在编程世界中消失一样,我估计RNN/LSTM的命运也如此。

可微分的内存网络会更加普遍。这只是一个自然结果或架构,其中内存将从核心节点中提取出来,并且只作为与计算机制分离的组件。我认为我们不需要刻意去忘却,输入和输出门的LSTM,可以取代辅助可微型存储器。我们已经看到有关模块化LSTM解耦存储器的对话(参见Augmented Memory RNN)。

3.设计师将退出调整,取而代之的是依靠元学习

当我开始深度学习之旅时,我曾经认为优化算法,特别是那些二次优化算法将会带来巨大的改进。今天,显而易见,深度学习为你学习优化算法。这样做的一个主要原因是元学习能够基于其领域自适应地优化其学习。进一步与此相关的是反向传播的替代算法是否将开始出现并实践。

4.强化学习只会变得更有创造力

对现实的观察总是不完美。有很多问题,SGD不适用。这就使得任何实际部署的深度学习系统将需要某种形式的强化学习成为至关重要。除此之外,我们将在很多地方看到强化学习在深度学习训练中使用。例如,元学习将大量启用强化学习。

5.对抗和合作学习将是王道

在过去,我们使用单解析目标函数的单片式深度学习系统。在新的世界,我期望看到具有两个或更多个网络的系统合作或竞争以获得可能不是分析形式的最优解决方案。参见 “Game Theory reveals the future of Deep Learning”。2017年,将有很多尝试管理非平衡态(non-equilibrium)上下文的研究。

6.预测学习和无监督学习不会取得很大进展

“预测学习”是Yann LeCun提出的新流行语,取代了更常见的术语“无监督学习”。目前还不清楚这个新的术语是否可以更广泛地采用。问题是,预测学习是否会在2017年取得长足进步。

如果阅读过“5 Capabilities of Deep Learning Intelligence”,你将会觉得预测学习是一些完全未知的能力。预测学习就像宇宙的暗物质一样,我们知道它是存在的,但不知道如何观察到它。

7.学习迁移导致工业化

Andrew Ng认为这点很重要,我也这么认为!

8.更多应用程序将使用深度学习作为组件

我们在2016年已经看到这一点,深度学习在更大的搜索算法中用作函数评估组件。AlphaGo在其价值和政策评估中采用深度学习。Google的Gmail自动回复系统将深度学习与定向搜索结合使用。我期待看到涌现更多的混合算法,而不是新的端到端训练的深度学习系统。

9.设计模式将越来越多地被采纳

深度学习只是需要概念结构的复杂领域之一。尽管所有涉及到高等数学,有大量文字叙述和模糊的概念,最好不是由正规严谨的方法来捕获,而是提供一个业已证明在其他复杂的领域(如软件开发)有效的方法。我预测,从业者将最终“获得”关于深度学习和设计模式。

10.工程将超越理论

研究人员的背景和他们所使用的数学工具,将会滋生他们研究方法中的偏见。深度学习系统和无监督学习系统可能是我们从未遇到的这些新事物。因此,没有证据表明我们的传统分析工具将帮助解开深度学习实际如何工作的谜团。在物理学中有很多动态系统,仍然困惑了几十年,我看到了与动态学习系统相同的情况。

然而,尽管我们缺乏对基本原理的理解,这种情况并不会阻止更高级的应用程序工程。深度学习就像生物技术或基因工程。我们创造了模拟学习机,但我们不知道他们是如何工作的,这并不妨碍任何人进行创新。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

深度学习 摩尔定律 解决方案 芯片 云提供商 云实例
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...