Attention 架构

Luong Attention分为Local和Global两种，本文主要分析Global Attention。下图为Global Attention的架构图：

符号解释：

1. ${\overline{h}}_s$$\bar{h}_s$：encoder_output
2. $h_t$$h_t$：decoder_output
3. $a_t(s)$$a_t(s)$：attn_weights
4. $c_t$$c_t$：Context vector
5. ${\tilde{h}}_t$$\tilde{h}_t$：attentional hidden state

以中英文翻译场景为例，根据该架构图，分为如下计算步骤：

1. attn_weights计算

   通过encoder_output和decoder_output计算得到attn_weights，即$a_t$$a_t$

2. Context vector计算

   通过encoder_output和$a_t$$a_t$计算得到加权encoder_output，即$c_t$$c_t$

3. attentional hidden state计算

   将$c_t$$c_t$和decoder_output进行$\mathrm{cat}$$\operatorname{cat}$合并，经过$\tanh$$\operatorname{tanh}$和$\mathrm{linear}$$\operatorname{linear}$变换处理得到attentional hidden state，即${\tilde{h}}_t$$\tilde{h}_t$

4. 预测

   根据${\tilde{h}}_t$$\tilde{h}_t$进行预测，得到最终预测结果。

Attention计算流程

Global Attention计算流程如下图所示：

计算步骤如下：

1. Encoder

   • step1：对原始输入，通过$\mathrm{RNN}\mathrm{（}\text{如}\mathrm{LSTM}\mathrm{）}$$\operatorname{RNN（如LSTM）}$处理，得到encoder_output：

     ${\overline{h}}_s:[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{input}\mathrm{\_}\mathrm{len},\mathrm{enc}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$\bar{h}_s \operatorname{: [batch\_size, input\_len, enc\_hidden\_size]}$

   • step2：为了能够使得encoder_output和decoder_output做$\mathrm{bmm}$$\operatorname{bmm}$运算，需要进行$\mathrm{linear}$$\operatorname{linear}$处理

     ${\overline{h}}_s:[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{input}\mathrm{\_}\mathrm{len},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$\bar{h}_s \operatorname{: [batch\_size, input\_len, dec\_hidden\_size]}$

   • step3：transpose(1,2)

     ${\overline{h}}_s:[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size},\mathrm{input}\mathrm{\_}\mathrm{len}]$$\bar{h}_s \operatorname{: [batch\_size, dec\_hidden\_size, input\_len]}$

2. Decoder

   • RNN

     • step4：对Decoder端的输入，通过$\mathrm{RNN}\mathrm{（}\text{如}\mathrm{LSTM}\mathrm{）}$$\operatorname{RNN（如LSTM）}$处理，得到decoder_output：

       $h_t:[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$h_t \operatorname{: [batch\_size, output\_len, dec\_hidden\_size]}$

   • Attention

     • step5：基于$h_t$$h_t$和${\overline{h}}_s$$\bar{h}_s$，进行打分计算：

       $\mathrm{score}(h_t,{\overline{h}}_s)=\mathrm{bmm}(h_t,{\overline{h}}_s):[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{input}\mathrm{\_}\mathrm{len}]$$\operatorname{score}(h_t, \bar{h}_s)=\operatorname{bmm}(h_t, \bar{h}_s): \operatorname{[batch\_size, output\_len, input\_len]}$

     • step6： 对打分结果通过$\mathrm{softmax}$$\operatorname{softmax}$计算，得到attn_weights

       $a_t(s)=\mathrm{align}({\mathrm{h}}_{\mathrm{t}},{\overline{\mathrm{h}}}_{\mathrm{s}})=\mathrm{softmax}(\mathrm{score}({\mathrm{h}}_{\mathrm{t}},{\overline{\mathrm{h}}}_{\mathrm{s}})):[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{input}\mathrm{\_}\mathrm{len}]$$a_t(s) = \operatorname{align(h_t, \bar{h}_s)}=\operatorname{softmax \left(score(h_t, \bar{h}_s)\right)} : \operatorname{[batch\_size, output\_len, input\_len]}$

     • step7： 基于$a_t(s)$$a_t(s)$，对encoder_output求加权平均

       $c_t=a_t{\overline{h}}_s:[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{enc}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$c_t=a_t \bar{h}_s: \operatorname{[batch\_size, output\_len, enc\_hidden\_size]}$

   • Attentional hidden state

     • step8：将加权encoder_output通过$\mathrm{cat}$$\operatorname{cat}$操作”融入”到原始的decoder_output

       $[c_t;h_t]：[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{enc}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}+\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$[c_t;h_t]：\operatorname{[batch\_size, output\_len, enc\_hidden\_size+dec\_hidden\_size]}$

       为了方面后续的$\mathrm{linear}$$\operatorname{linear}$变换，需要对其shape进行调整，结果如下：

       $[c_t;h_t]：[\mathrm{batch}\mathrm{\_}\mathrm{size}\times \mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{enc}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}+\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$[c_t;h_t]：\operatorname{[batch\_size \times output\_len, enc\_hidden\_size+dec\_hidden\_size]}$

     • step9：对$[c_t;h_t]$$[c_t;h_t]$进行$\mathrm{linear}$$\operatorname{linear}$变换

       $\mathrm{linear}([c_t;h_t])：[\mathrm{batch}\mathrm{\_}\mathrm{size}\times \mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$\operatorname{linear}([c_t;h_t])： \operatorname{ [batch\_size \times output\_len, dec\_hidden\_size]}$

     • step10：$\tanh$$\operatorname{tanh}$变换

       $\tanh (\mathrm{linear}([c_t;h_t]))：[\mathrm{batch}\mathrm{\_}\mathrm{size}\times \mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$\operatorname{tanh}(\operatorname{linear}([c_t;h_t]))： \operatorname{ [batch\_size \times output\_len, dec\_hidden\_size]}$

     • step11：将二维展开到三维，得到最终的attentional hidden state

       ${\tilde{h}}_t：[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{dec}\mathrm{\_}\mathrm{hidden}\mathrm{\_}\mathrm{size}]$$\tilde{h}_t：\operatorname{ [batch\_size ,output\_len, dec\_hidden\_size]}$

   • Predict

     • step12：对${\tilde{h}}_t$$\tilde{h}_t$进行$\mathrm{linear}$$\operatorname{linear}$变换

       $\mathrm{linear}({\tilde{h}}_t)：[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{vocab}\mathrm{\_}\mathrm{size}]$$\operatorname{linear}(\tilde{h}_t)：\operatorname{ [batch\_size ,output\_len, vocab\_size]}$

     • step13：通过$\mathrm{softmax}$$\operatorname{softmax}$运算，得到最终预测概率结果

       $\mathrm{softmax}(\mathrm{linear}({\tilde{h}}_t))：[\mathrm{batch}\mathrm{\_}\mathrm{size},\mathrm{output}\mathrm{\_}\mathrm{len},\mathrm{vocab}\mathrm{\_}\mathrm{size}]$$\operatorname{softmax}(\operatorname{linear}(\tilde{h}_t))：\operatorname{ [batch\_size ,output\_len, vocab\_size]}$

参考资料

1. 第七课 Seq2Seq与Attention (julyedu.com)