本文共 2343 字，大约阅读时间需要 7 分钟。

---

作者：迪

单位：燕山大学

---

论文来源：ACL2020

---

概述

  BERT及其变体在大多数NLP任务上取得SOTA，但是由于该模型采用了大量参数以及非线性函数，如何预测问题的答案不得而知，于是很多工作人员开始研究BERT的语言理解能力。相较于其他NLU的任务，机器阅读理解(Machine Reading Comprehension)更加复杂，作者也首次分析了BERT的各个层对MRC任务中对文章-问题对的理解能力。

主要贡献

• BERT的初始层更侧重文章与问题的交互，之后的层更侧重于上下文理解与答案预测
• BERT在处理有关数字的问题时对数字特别敏感，但是仍然能正确抽取答案

问题定义

  作者使用BERT-BASE模型，共包含12层Transformer的encoder结构。使用的数据集是SQuAD1.1数据集与DuoRC数据集。其中SQuAD数据集使用了90000个训练样本，验证集使用了10000个样本，且每个样本的文章字数在100-300。DuoRC数据集使用了60000个训练样本，验证集使用了13000个样本，每个样本的文章字数在500字左右。

分析方法

  对于给定的文章$P$由$n$个单词组成[$w_1,w_2,...,w_n$]，问题$Q$与带有模型参数$\theta$的$f$，预测过程描述如下：

$$p(w_s,w_e)=f(w_s,w_e|P,Q,\theta )$$   $w_s,w_e$分别代表预测的开始和结束单词。对于给定的层数$l$，上式等价于： $$p(w_s,w_e)=f_l(w_s,w_e|E_{l-1}(P),E_{l-1}(Q),\theta )$$

  $f_l$是指从$l$层到预测的前向传播过程，$E_l(\cdot )$是在$l$层下的对于文章或问题的表示。对于模型$M$，对每个词$w_i$的词嵌入$x_i$采用积分梯度计算，公示如下：

$$IG(x_i)={\int }_{\alpha =0}^1\frac{\partial M(x+\alpha (x_i-x))}{\partial x_i}d\alpha$$   $x$是一个0向量，为$w_i$测量积分梯度。$I{G}_l(x_i)$代表单词$w_i$在$l$层的积分梯度。然后作者取50个[0,1]的均匀分布为$\alpha$进行取值，近似上述积分，最后将得到的所有的$IG(x_i)$进行归一化得到文章字的概率分布。

结果分析

• top-k指的是概率为前k低或前k高的词。图(a)与图(b)分别对应的是在SQuAD数据集下将top-2的词保留或去除的实验结果，图©与图(d)分别对应的是在DuoRC数据集下将top-2的词保留或去除的实验结果。

  经过分析，我们能得到一个层的功能反应在分布概率较高的词上，当删除它们时，其他不太重要的单词几乎是均匀分布的。因此，为了正确判断一个层的功能，应该重点关注那些概率较高的词。

• 将文档的词分为3类，答案位置的词，支撑答案位置的词（滑动窗口为5且围绕在答案位置周围的词），问题相关的词（文章中出现有关问题的词）。取概率最高的前5个词进行分析，结果如下。表1为在SQuAD数据集上的结果，表2为在DuoRC数据集上的结果：

  观察到BERT在处理SQuAD数据集与DuoRC数据集时有相同的趋势。模型首先尝试识别文章中出现有关问题的词的部分，随着对答案词越来越有信心，与问题相关的词的重要性会降低。在第四栏中，从最开始的层到最后一层，对上下文的信息关注的越来越多。

• 针对答案为数字的问题，作者举了一个具体的实例，实例如下表所示。

  其中蓝色字体代表答案，红色字体代表支撑答案位置的词，绿色字体代表问题词。

  将每个词进行特殊标记，对1层、5层、10层、12层输出的词表示进行可视化，得到结果如下：

  在第0层中，观察到同一类词的距离都很近；在第4层中，文章、问题与答案开始交互；在第9层中，答案词与其余的词已经分开，但是文章中同类型的词"four"非常接近答案词"eight"；在最后一层中，两个同类型词依然区分不开，但是模型依然选择了正确答案。

结论

  作者使用积分梯度在解决抽取式MRC任务时对文章-问题对进行分析，反映出BERT在初始层更重视文章与问题的交互信息，之后的层更关注抽取答案。

番外

1. 为什么问题词的表达在后面的层中远离支撑答案的词与答案词的表达？
2. 对易混淆词的关注度从初始层增加到最后一层，为什么BERT仍然拥有较高的准确率？
3. 有关积分梯度的相关工作，请查看这篇

转载地址：http://nqmgi.baihongyu.com/