LSTM简介

LSTM单元结构

1. 输入

   $x_t$$x_{t}$：输入数据

   $h_{t-1}$$h_{t-1}$：hidden state

   $c_{t-1}$$c_{t-1}$：cell state

2. 候选状态

   $\tilde{c}$$\tilde{c}$：从输入数据和hidden state中提取的信息

   ${\tilde{\mathit{c}}}_t=\tanh ({\mathit{W}}_c{\mathit{x}}_t+{\mathit{U}}_c{\mathit{h}}_{t-1}+{\mathit{b}}_c)$$\tilde{\boldsymbol{c}}_{t}=\tanh \left(\boldsymbol{W}_{c} \boldsymbol{x}_{t}+\boldsymbol{U}_{c} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{c}\right)$

3. 门

   遗忘门：对$c_{t-1}$$c_{t-1}$，遗忘其多少信息

   输入门：对$\tilde{c}$$\tilde{c}$，保存其多少信息

   输出门：对$c_t$$c_t$，输出其多少信息到$h_t$$h_t$

   三个门的计算方式为：

   $$\begin{array}{}\text{(1)}& \begin{array}{rl}{\mathit{i}}_t& =\sigma ({\mathit{W}}_i{\mathit{x}}_t+{\mathit{U}}_i{\mathit{h}}_{t-1}+{\mathit{b}}_i)\\ {\mathit{f}}_t& =\sigma ({\mathit{W}}_f{\mathit{x}}_t+{\mathit{U}}_f{\mathit{h}}_{t-1}+{\mathit{b}}_f)\\ {\mathit{o}}_t& =\sigma ({\mathit{W}}_o{\mathit{x}}_t+{\mathit{U}}_o{\mathit{h}}_{t-1}+{\mathit{b}}_o)\\ \text{其}\text{中}，\sigma (\cdot )\text{为}\mathrm{Logistic}& \text{函}\text{数}，{\mathit{x}}_t\text{为}\text{当}\text{前}\text{输}\text{入}，{\mathit{h}}_{t-1}\text{为}\text{上}\text{一}\text{时}\text{刻}\text{的}hiddenstate\end{array}\end{array}$$

4. 输出

Pytorch LSTM

模型参数

1. input_size: 输入数据的特征个数
2. hidden_size: hidden state的个数
3. num_layers: RNN网络的层数，以下默认为1。
4. batch_first: 如果为true，则输入数据的shape为(batch_size, seq_len, feature_num)。以下默认为true。

输入

1. input

   batch_size * seq_len * feature_num

   

2. $h_{\mathrm{\_}0}$$h_{\_0}$

   num_layers * batch_size * hidden_size

3. $c_{\mathrm{\_}0}$$c_{\_0}$

   num_layers * batch_size * hidden_size

输出

1. output

   batch_size * seq_len * hidden_size

2. $h_{\mathrm{\_}n}$$h_{\_n}$：每个batch最后一个时刻的hidden state

   num_layers * batch_size * hidden_size

3. $c_{\mathrm{\_}n}$$c_{\_n}$：每个batch最后一个时刻的cell state

   num_layers * batch_size * hidden_size

    

参考文档

1. LSTM — PyTorch 1.10.1 documentation
2. Understanding LSTM Networks -- colah's blog