首页 首页 物联网 物联网技术 查看内容

Geoffrey Hinton论文:使用快速权重处理最近的过去

木马童年 2019-1-13 22:10 55 0

Using Fast Weights to Attend to the Recent Past 摘要: 直到最近,对人工神经网络的研究在很大程度上还局限于仅有两种类型的变量的系统:代表当前或最近输入的神经活动以及学习获取输入、输出和收益(payoff)之间 ...

Using Fast Weights to Attend to the Recent Past

摘要: 直到最近,对人工神经网络的研究在很大程度上还局限于仅有两种类型的变量的系统:代表当前或最近输入的神经活动以及学习获取输入、输出和收益(payoff)之间规律的权重。这种限制并没有什么好的存在理由。突触拥有在许多不同时间尺度上的动态,这表明人工神经网络可能能够受益于变化速度比行为(activity)慢但比标准权重远远更快的变量。这些「快速权重(fast weights)」可以被用于存储最近过去的临时记忆(temporary memories),它们能为过去(past)提供一种在神经角度上可行的实现这种类型的注意(attention)的方式,而且最近研究已经证明过去(past)在序列到序列(seq2seq)模型中非常有用。通过使用快速权重,我们可以避免存储神经活动模式的副本的需求。

图 1:快速关联记忆模型(fast associative memory model);其中,红色线:持续边界条件,灰色线:慢速过渡权重,蓝色线:快速过渡权重

图 3:多层快速关联记忆模型(multi-level fast associative memory model);其中,灰色虚线:更新快速权重和清空隐藏状态,红色线:持续边界条件,灰色实线:慢速过渡权重,蓝色线:快速过渡权重

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

神经网络
0
为您推荐
仿真优化 5G 和物联网的天线设计

仿真优化 5G 和物联网的天线设计

5G 移动网络和物联网(Internet of Things,简称 IoT)是射频及微波行业的两大热点话题…...

基于物联网技术的消防器材管理系统研究

基于物联网技术的消防器材管理系统研究

本文描述了一种基于物联网技术的消防器材管理系统(后文简称 “本系统”),详细说明了…...

利用热能收集延长远程传感器所用电池的寿命

利用热能收集延长远程传感器所用电池的寿命

人们常常在周围充满能源的环境中看到无线和有线传感器系统,这种环境能源非常适合用来…...

传感器设计意识

传感器设计意识

金属面板电容(MoC)触摸系统的一大优点在于其传感器的灵活性。这也就是说,其传感器设…...

通过智能无源传感器,实现监测温度、湿度或压力

通过智能无源传感器,实现监测温度、湿度或

在任何给定时间内,物联网 (IoT) 中大多数设备都可能处于空闲状态。通常,仅需要 IoT …...

基于STM32智能家居系统的设计与实现

基于STM32智能家居系统的设计与实现

智能家居(又称智能住宅)是以住宅为平台,兼备建筑、网络通信、信息家电、设备自动化,…...