首页 首页 物联网 物联网技术 查看内容

Geoffrey Hinton论文:使用快速权重处理最近的过去

木马童年 2019-1-13 22:10 5 0

Using Fast Weights to Attend to the Recent Past 摘要: 直到最近,对人工神经网络的研究在很大程度上还局限于仅有两种类型的变量的系统:代表当前或最近输入的神经活动以及学习获取输入、输出和收益(payoff)之间 ...

Using Fast Weights to Attend to the Recent Past

摘要: 直到最近,对人工神经网络的研究在很大程度上还局限于仅有两种类型的变量的系统:代表当前或最近输入的神经活动以及学习获取输入、输出和收益(payoff)之间规律的权重。这种限制并没有什么好的存在理由。突触拥有在许多不同时间尺度上的动态,这表明人工神经网络可能能够受益于变化速度比行为(activity)慢但比标准权重远远更快的变量。这些「快速权重(fast weights)」可以被用于存储最近过去的临时记忆(temporary memories),它们能为过去(past)提供一种在神经角度上可行的实现这种类型的注意(attention)的方式,而且最近研究已经证明过去(past)在序列到序列(seq2seq)模型中非常有用。通过使用快速权重,我们可以避免存储神经活动模式的副本的需求。

图 1:快速关联记忆模型(fast associative memory model);其中,红色线:持续边界条件,灰色线:慢速过渡权重,蓝色线:快速过渡权重

图 3:多层快速关联记忆模型(multi-level fast associative memory model);其中,灰色虚线:更新快速权重和清空隐藏状态,红色线:持续边界条件,灰色实线:慢速过渡权重,蓝色线:快速过渡权重

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

神经网络
0
为您推荐
智能卡失效机理研究及分析实例

智能卡失效机理研究及分析实例

  IC智能卡作为信息时代的新型高技术存储产品,具有容量大、保密性强以及携带方便等…...

无线网络技术在监狱安防系统中的应用

无线网络技术在监狱安防系统中的应用

  监狱对于其安防系统设计具有高安全性、稳定性和实时性的要求。目前,监狱系统中所…...

谈谈边缘计算在物联网

谈谈边缘计算在物联网

边缘计算,是一种分散式运算的架构,它将应用程序、数据资料与服务的运算,由网络中心…...

RFID与条码技术在病人安全管理中的应用

RFID与条码技术在病人安全管理中的应用

  概要 随着美国医院的患者安全问题近来成为人们关注的焦点,大量专门用于提高临床…...

零售业信息化趋势

零售业信息化趋势

近年来,零售业的蓬勃发展引来了人们的普遍关注。连锁门店成为一种世界性潮流趋势,在…...

RFID 无线通信迂回式随机树形防冲突算法

RFID 无线通信迂回式随机树形防冲突算法

  射频识别RFID(RadioFrequencyIdentification)技术相对于传统的磁卡及IC卡技术具…...