我还不知道Attention有哪些-公式代码都带你搞定

百川NLP • 2023-01-02 • 云技术社区 • 457 阅读

不讲5德的attention到底是啥?

attention由来已久，让它名声大噪的还是BERT，可以说NLP中，BERT之后，再无RNN和CNN。那么attention到底有哪些呢？hard attention、soft attention、global attention、local attention、self-attention, 啊，这些都是啥？相似度计算的dot、general、concat都是怎么计算的？

起源

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
文章是一个图像的描述生成，encoder利用CNN从图像中提取信息为L个D维的矩阵，作为decoder的输入。即:

a_{i}, i=1,2, \\ldots, L

而decoder使用了lstm，认为L个D维向量可以构成一个序列（并非时间序列，而且空间上的序列），这里LSTM中输出为上一步的隐变量h_{t-1} , 上一步的输出y_{t-1} 和Z_t , 隐变量和输出是LSMT已有的，那么Z_t 是什么东西，怎么获得的呢？

这里作者提出了attention机制，机器自动学习获得attention权重后对向量加权求和，获得Z_t ，很抽象，咱们直接上公式：

e_{ti} = f_{att}(a_i, h_{i-1}) = act\\_fuc( W^a \\times a_i + W^h \\times h_{i-1} + b ) \\\\ \\alpha_{t i}=\\frac{\\exp \\left(e_{t i}\\right)}{\\sum_{k=1}^{L} \\exp \\left(e_{t k}\\right)}

这里的权重获得使用了感知机结构，act_fuc是激活函数，可以是sigmoid、relu等，那么Z_t 计算为attention权重的加权求和：

Z_t = \\sum_{i=1}^L \\alpha_{ti} * a_i

本文还提出来hard/soft attention.

那么什么是hard attention呢？

对于t时刻，其对于位置i的attention的权重记为S_{ti} ，作者认为S_{ti} 应该服从多元伯努利分布，即所有s_{ti}, i=1,2,...L 中只有个为1，是一个one-hot向量，即

可以看到\\alpha_{t,i} 没有直接参与\\hat z_t 的计算，损失函数当然是在条件a的情况下最大化正确y的概率，即\\log p(y|a) ，作者通过Jensen 不等式将目标函数定义为\\log p(y|a) 的一个下界，巧妙的将s加入到损失函数中：

\\begin{aligned} L_{s} &=\\sum_{s} p(s \\mid \\mathbf{a}) \\log p(\\mathbf{y} \\mid s, \\mathbf{a}) \\\\ & \\leq \\log \\sum_{s} p(s \\mid \\mathbf{a}) p(\\mathbf{y} \\mid s, \\mathbf{a}) \\\\ &=\\log p(\\mathbf{y} \\mid \\mathbf{a}) \\end{aligned}

计算梯度：

\\begin{aligned} \\frac{\\partial L_{s}}{\\partial W}=\\sum_{s} p(s \\mid \\mathbf{a}) &\\left[\\frac{\\partial \\log p(\\mathbf{y} \\mid s, \\mathbf{a})}{\\partial W}+\\right.\\left.\\log p(\\mathbf{y} \\mid s, \\mathbf{a}) \\frac{\\partial \\log p(s \\mid \\mathbf{a})}{\\partial W}\\right] \\end{aligned}

损失函数似乎没法求导，那怎么办呢？对，随机采样。利用蒙特卡洛方法对 s 进行抽样，我们做 N 次这样的抽样实验，记每次取到的序列是是\\tilde{s}^{n} ，其概率就是1/N，那么梯度结果：

\\begin{aligned} \\frac{\\partial L_{s}}{\\partial W} \\approx \\frac{1}{N} \\sum_{n=1}^{N}\\left[\\frac{\\partial \\log p\\left(\\mathbf{y} \\mid \\tilde{s}^{n}, \\mathbf{a}\\right)}{\\partial W}+\\right. \\left.\\log p\\left(\\mathbf{y} \\mid \\tilde{s}^{n}, \\mathbf{a}\\right) \\frac{\\partial \\log p\\left(\\tilde{s}^{n} \\mid \\mathbf{a}\\right)}{\\partial W}\\right] \\end{aligned}

soft attention

相对而言soft attention就容易理解，相比于one-hot, sotf即全部位置都会有加入，区别在于权重的大小，此时：

Z_t = \\beta_t * \\sum_{i=1}^L \\alpha_{ti} * a_i \\\\ \\beta_{t}=\\sigma\\left(f_{\\beta}\\left(h_{t-1}\\right)\\right)

其中

同时，模型损失中加入了\\alpha_{ti} 的正则项，这是为什么呢？

L_{d}=-\\log (P(\\mathbf{y} \\mid \\mathbf{x}))+\\lambda \\sum_{i}^{L}\\left(1-\\sum_{t}^{C} \\alpha_{t i}\\right)^{2}

首先attention权重进过sotfmax是保证\\sum_i^L \\alpha_{ti} = 1 ，同时此项损失中的正则保证\\sum_t^C \\alpha_{ti} \\approx 1 ，其中\\sum_t^C \\alpha_{ti} 表示同一个t的所有被关注(attention)的权重和，所以要求每个位置被重视的总和相等。

这个“被”字有点绕，举例i=1时候\\alpha_{11} 表示a_1 对于a_1 的权重，\\alpha_{21} 表示a_1 对于a_2 的权重，以此类推，\\alpha_{L1} 表示a_1 对于a_L 的权重，\\sum_t^C \\alpha_{ti} =1，即要求a_1, a_2,...a_L 在被attention的总和相等，保证每个部位被同样关注。

那么什么又是global attention 和 local attention呢？

global attention 和 local attention

是否是说有些部分的attention并不用关注于全局的信息，只需要关注部分的信息就好了，那么是否可以有attention只关注一部分位置上的输出呢？

Effective Approaches to Attention-based Neural Machine Translation

Effective提出了global attention 和 local attention概念，具体可以看图

图中左边为全局attention，右边为local。蓝色块表示输入序列，红色块表示生成序列，可以看到，global在生成c_t 时候回考虑全局的输入，和正常attention无异。
local attention会有一个窗口，在窗口中的输入才会被计算权重，可以认为其余都是0。这让我想到了卷积????
最终的会将二者的context向量和h_t concat作为最终的输出。

global attention: 对于global attention，其输入序列\\bar{h}_{s}, s=1,2, \\ldots, n , 对于输出序列h_t ，和每个\\bar{h}_{s}

计算attention权重然后加权求和获得context向量, attention权重计算方式为：

\\alpha_t(s)=\\frac{\\exp \\left(\\operatorname{score}\\left(\\boldsymbol{h}_{t}, \\overline{\\boldsymbol{h}}_{s}\\right)\\right)}{\\sum_{s^{\\prime}} \\exp \\left(\\operatorname{score}\\left(\\boldsymbol{h}_{t}, \\overline{\\boldsymbol{h}}_{s^{\\prime}}\\right)\\right)} \\tag{7}

那么其中的score是怎么计算的呢，作者总结了一下历史的attention的权重3种计算方式：

\\operatorname{score}\\left(\\boldsymbol{h}_{t}, \\overline{\\boldsymbol{h}}_{s}\\right)=\\left\\{\\begin{array}{ll}\\boldsymbol{h}_{t}^{\\top} \\overline{\\boldsymbol{h}}_{s} & \\text { dot } \\\\ \\boldsymbol{h}_{t}^{\\top} \\boldsymbol{W}_{\\boldsymbol{a}} \\overline{\\boldsymbol{h}}_{s} & \\text { general } \\\\ \\boldsymbol{v}_{a}^{\\top} \\tanh \\left(\\boldsymbol{W}_{\\boldsymbol{a}}\\left[\\boldsymbol{h}_{t} ; \\overline{\\boldsymbol{h}}_{s}\\right]\\right) & \\text { concat }\\end{array}\\right.

其实包括后面的transformer、bert等，都是遵循此范式，不过是score计算方式在dot基础上除以向量维度的0.5次方，为了消除维度对score的影响。

local attention: 每次都计算全局的attention权重，计算开销会特别大，特别是输入序列很长的时候（例如一篇文档），所以提出了每次值关注一小部分position。那么怎么确定这一小部分呢？

文中设定了一个context向量c_t 只关注其窗口[p_t-D, p_t+D] 内的haidden states，而p_t 怎么来的呢，文中又定义了这么几种方式：

Monotonic alignment：P_t=t , 这显然不太合适翻译，除非是alignment的任务，例如序列标注任务，其标签和当前t强相关。
Predictive alignment：p_{t}=S \\cdot \\operatorname{sigmoid}\\left(\\boldsymbol{v}_{p}^{\\top} \\tanh \\left(\\boldsymbol{W}_{\\boldsymbol{p}} \\boldsymbol{h}_{t}\\right)\\right) , 通过计算获得，取决于输入h_t ，即h_t

favor alignment points（不知道咋翻译，G点吧），所以monotonic肯定是alignment任务才合适。

然后权重计算方式为：

\\boldsymbol{a}_{t}(s)=\\operatorname{align}\\left(\\boldsymbol{h}_{t}, \\overline{\\boldsymbol{h}}_{s}\\right) \\exp \\left(-\\frac{\\left(s-p_{t}\\right)^{2}}{2 \\sigma^{2}}\\right)

可能细心的观众要问，align是什么东西？好吧，自己看公式7.

可以看到，在普通的权重计算基础上，加入了一个距离的影响因子，距离越小，后面一项越大，说明此更倾向于中心位置到权重大，越远位置越边缘，甚至超过边缘就被裁掉（例如窗口外的就为0）

总结下来local attention关注部分position，而global attention关注全局的position。

Scaled Dot-Product Attention

Transformer中attention御用方式。用Transformer完全替代了RNN结构。
Attention Is All You Need
Weighted Transformer Network for Machine Translation

不讲5德，直接上公式，

\\text {Attention}(Q, K, V)=\\operatorname{softmax}\\left(\\frac{Q K^{T}}{\\sqrt{d_{k}}}\\right) V \\\\ = \\operatorname{softmax}\\left(\\left[\\begin{array}{c}v_{1} \\\\ v_{2} \\\\ \\cdots \\\\ v_{n}\\end{array}\\right] *\\left[v_{1}^{T}, v_{2}^{T}, \\ldots, v_{n}^{T}\\right]\\right) *\\left[\\begin{array}{c}v_{1} \\\\ v_{2} \\\\ \\ldots \\\\ v_{n}\\end{array}\\right]

其中，v_i 表示每一步的token的向量，在self attention中，Q,K,V来源于同一个输入X：

Q_i=X_i \\times W^q \\\\ K_i=X_i \\times W^k \\\\ V_i=X_i \\times W^v

可以看到，和之前attention计算方式差异并不大，分母多了一项\\sqrt{d_{k}} 是为了消除维度对于attention的影响。

同时还提出了多头机制（multi-head attention），有点类似于CNN中的卷积核数目。

multi-head attention：由多个scaled dot-product attention组成，输出结果concat，每一个attention都都有一套不同的权重矩阵W_{i}^{Q}, W_{i}^{K}, W_{i}^{V} , 会有不同的初始化值。

\\begin{aligned} \\operatorname{MultiHead}(Q, K, V) &=\\operatorname{Concat}\\left(\\operatorname{head}_{1}, \\ldots, \\mathrm{head}_{\\mathrm{h}}\\right) W^{O} \\\\ \\text { where head }_{\\mathrm{i}} &=\\operatorname{Attention}\\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\\right) \\end{aligned}

同时由于Transformer中设置了残差网络，设置隐层单元数目和头数时候要注意是否满足：num_attention_heads * attention_head_size = hidden_size

同时还是用position-wise feed-forward networks、position encoding、layer normalization、residual connection等，继续填坑，后续也有一些对transformer的改造，会继续更新。

Position-wise Feed-Forward Networks

个人感觉像是窗口为1的卷积，即对于同一层的每个token，会共享W_1,W_2 ，即共享FFN参数，这个两个线性转换之间包含一个ReLU激活函数。

\\operatorname{FFN}(x)=\\max \\left(0, x W_{1}+b_{1}\\right) W_{2}+b_{2}

感觉也是合理的，即每个token的共享FFN，不仅减少了参数量，特别是sequence比较长的时候，而且这个FFN其实是各个位置的token上的通用特征提取器。

position encoding

从attention的计算中可以看出，不同时序的序列计算attention的结果是一样的，导致Transformer会变成一个词袋模型，那么怎么引入序列的信息呢？所以这里就需要对position进行表示，加到原有的token向量上，让每个token中包含位置信息，不同的token之间包含相对位置信息，那么怎么表示这种绝对和相对的位置信息呢？

论文中position encoding使用了公式:

\\begin{aligned} P E_{(p o s, 2 i)} &=\\sin \\left(p o s / 10000^{2 i / d_{\\text {model }}}\\right) \\\\ P E_{(p o s, 2 i+1)} &=\\cos \\left(\\text { pos } / 10000^{2 i / d_{\\text {model }}}\\right) \\end{aligned}