热线电话:13121318867

登录
首页大数据时代深度学习中LSTM的核心思想是什么?
深度学习中LSTM的核心思想是什么?
2020-07-13
收藏

LSTM全称为:long short term memory,也叫作长短期记忆人工神经网络,本质上是一种时间循环神经网络LSTM是为了解决一般的RNN长期依赖问题而被专门设计出来的。所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。

LSTM 也具有这样的结构,但是重复的模块拥有的却是一个不同的结构。相比单一神经网络层,LSTM有四个,采用一种非常特殊的方式来进行交互。

LSTM核心思想:

LSTM最为关键的地方是:细胞的状态(绿色的图代表的是一个cell),以及穿过细胞的那条水平线。

细胞状态与传送带相类似。直接运行在整个链上,线性交互数量很少。能够很容易的让信息在上面流传并且保持不变。

如果只有上面的那条水平线是无法进行添加或者删除信息的,需要借助一种叫做 门(gates) 的结构来实现。

门 能够实现选择性地让信息通过,这主要是利用一个 sigmoid 的神经层以及一个逐点相乘的操作而实现的。

sigmoid 层输出的每一个元素都是一个在 0 和 1 之间的实数,表示的是让对应信息通过的权重(或者占比)。比如, 0 代表“不让任何信息通过”, 1代表“让所有信息通过”。

LSTM通过遗忘门、输入门和输出门,三个这样的基本结构来实现信息的保护和控制。

数据分析咨询请扫描二维码

若不方便扫码,搜微信号:CDAshujufenxi

最新资讯
更多
客服在线
立即咨询