共指消解（CoreferenceResolution）论⽂解读
1 相关概念
共指消解，也叫做共指解析，指的是在⼀短⽂本内多个表达段(术语不正确？)指向现实世界中的同⼀个实体。这是我的⾃⼰个⼈理解，具体相关官⽅的解释及具体任务请查阅相关的资料，或者推荐观看斯坦福⼤学的cs 224n 的课程中关于Coreference Resolution 的那节课。此篇博客也只是个⼈的学习记录，因为时常有⼀些事情中断，这并不是⼀个好的习惯，因此记录下来。其实举⼀个例⼦即可：
⼩明⾮常喜欢他的书包
在这个句⼦中 **⼩明 ** 和 **他** 都是指向⼩明这个实体的，所以这两个表达式之间有共指关系。我国行政区划图
c1车型2 相关术语
其实⼀开始关于共指解析的术语让⼈很疑惑，然后查阅其他⼈的解释，并且找到⼀些不错的资料，感觉还是让⼈很容易明⽩，这⾥即为共指消解相关的术语
这张图⽚来源于 这是关于论⽂
“End-to-end Neural Coreference Resolution”(Lee et al., EMNLP 2017) 的pytorch 实现。接下来解释⼀些上述的术语，这都为个⼈的理解，并不严谨：
1. mention 可以理解为⽂本中实体的表述或者是具有实体含义的表述
2. antecedent 可理解为前指，图中 “Sally” 和 “she ” 具有共指关系，它们都指向关于“Sally”这个⼈。“Sally” 在"she"前
⾯，即“Sally” 是“she”的前指。
3. coreferent 这就是共指关系，“Sally” 和 “she” 具有共指关系。
4. cluster 可以理解为簇，共指消解就是将⽂本中具有共指关系的mention 聚到⼀起，形成⼀个簇
5. anapnoric 回指的，即可以理解为与 antecedent 相反？
6. non-anapnoric ⽂本中没有与这个mention 具有回指的mention恋上一座城
3 所要解决的难题大眼睛苏明娟
共指消解其实可以分为两步，这在cs224n 中也有讲诉。其⼀是就是找出⽂本中的mention ，需要注意的是mention 并不仅仅指的是上⾯单个单词所组成的，他可能有许多单词组成 。⽐如 ⼩明和⼩李 这个⽂本段中，“⼩明 ” 、“⼩李” 、⼩明和⼩李 这都为mention ，假如这
个⽂本后续的⽂本中出现 他们 这个mention ，那么 他们 和 ⼩明和⼩李 就有共指关系。由于不知到具体哪个⽂本段为mention，所以⼀般都考虑所有的span(span 也就是序列)，⽐如⽂本段⼩明和⼩李，他的span为 ⼩ 、⼩明 、⼩明和、⼩明和⼩、⼩明和⼩李、明。。。⼀段⽂本由T个word组成，那么span的数⽬为T2T2，把这些span都当作潜在的mention，这样的话计算量太⼤，后续需要修剪。总结第⼀个问题就是如何在⽂本段的所有span中找出所有的mention。
其⼆，就是判断mention之间是否有共指关系，由于可能两个mention相差得距离很远，此外也需要找出所有可以聚集在⼀个簇内的mention，如上图中的关于cluster的术语展⽰的结果⼀样。
关于共指消解的例⼦可以观看这个⽹站
4 数据集
在讲论⽂之前，我想先说明数据集。关于共指解析的数据集。使⽤的数据集是，这个数据集是不对外公开的，但是对于⾼校或者其他学术机构是免费使⽤的。你需要加⼊你所在机构的组织，如果显⽰⼀直显⽰管理员在审核。那么你就写邮件给LDC的⼯作⼈员，告知他你不知道组织的管理⼈员是谁，希望可以加⼊。加⼊组织后，申请Ontonotes 5.0 数据集下载即可。
下载完数据集后，需要将它转化为conll格式。关于conll数据格式的说明和转化⽅法，请查阅以下⽹站 ，按照相应得步骤即可。注意！转化是要在python 2的环境下进⾏的这样就⽣成相关的数据集了
5 论⽂
欲望超市相关论⽂为 ，这篇论⽂他提出将⽂档中所有的span作为潜在的mention，并且对于每个mention都学习它所有可能为antecedent的分布。可能⽐较拗⼝，就是有⼀个mention 为 ，然后它之前在⽂本中的所有mention 为 {} 注意() 通过模型得到⼀个是否为这个的antecedent
5.1 任务
⼀个document中有 T 个words ，则这个documen中就会有 个span，假设每个span 都会有开始的word和结束的word，即 和，其中i表⽰为这个span的序号，。然后根据span的 排序，如果有相同的 那么就依照 这篇论⽂的⽅法即是假设每个span为mention，给每个span 都寻找它的antecedent 。对于 它属于集合，假设span 为span anteceden，那么就有。如果⼀个span的antecedent为 ，那么就有两种情况：
1. 这个span并不是⼀个mention
2. 这个span为mention，但是并没有前置的span作为antecedent
5.2模型
其实模型要学习的就是⼀个条件概率 ，其中表⽰的是document，为他它的候选span 。这是针对每⼀个span的条件概率。则可得下⾯的公式：
其实后⾯⼀⼤堆即为⼀个 ，其中 代表的是span 和span 是否有共指关系的分数，可以表述为 pairwi coreference score。有三种因素影响这个分数:
1. span 是否为⼀个mention
2. span 是否为⼀个mention
3. span 是否为 span 的 antecedent
则则可⽤下⾯的表达式：
m i m ，m ，m ...m 123j j <i m i N =2
T (T +1)ST ART (i )END (i )1<i <N ST ART (i )ST ART (i )END (i )
i y i y i Y =(i )(ϵ,1,...,i −1)j i 1≤j ≤i −1ϵP (y ,...,y ∣D )1N D y i P (y ,...,y ∣D )=1N P (y ∣D )=i =1∏N i i =1∏N exp (s (i ,y ))
除夜作
应对英语∑y ∈y (i )′′exp (s (i ,y ))i softmax S (i ,j )i j i j j i S (i ,j )S (i ,j )={0s (i )+s (j )+s (i ,j )m m a j =ϵ
j =ϵ
表是的是span 为⼀个mention 的⼀元分数， 表是的是span 为⼀个mention 的⼀元分数， 表⽰的是span 和span 是共指关系的分数
5.3 span 的表达
之前我们经常出现span这个术语，它可以理解为⼀段序列，上述的模型的基础就为span。所以span的表⽰⼗分重要，因为它相当于基础。有两个关于span关键的因素来影响以后的模型：
1. 如果⼀个span为mention，那么它周围的⽂本对这个span的语义⾄关重要
2. span内部的结构
单身交往由于数据集中的共指关系都只存在于⼀个句⼦中，没有跨越句⼦(可以查看相关的数据⽂件)，那么对每个句⼦encode即可。此外关于LSTM 是捕捉span内部的语义，关于外部的因素可采⽤attention机制。关于LSTM的具体公式这⾥不再阐述
假设LSTM的输出为 这⾥的 表⽰的LSTM的⽅向， 是双向LSTM的输出。关于attention，则有下⾯的公式:
s (i )m i s (j )m j s (i ,j )a i j x =∗[h ,h ]t ,1t ,−1(1,−1)x ∗α=t w ⋅αFFNN (x )α∗
