emission

crf-2CRF层（EmissionandTransitionScore）（翻译）

回顾

在上⼀节，我们知道从训练数据集CRF层可以学习⼀些约束，以确保最终预测标签的有效性。约束可能是：

句⼦中第⼀个单词的标签应以“B-“or“O”,not“I-“开始

B-label1I-label2I-label3班级简介高中 I-…”，在这个模式中，label1、label2、label3…应该是相同的命春季班 名实名人的事迹 体标签。例如，“B-PersonI-Person”是有效的，但是“B-PersonI-Organization”是⽆效的。

“OI-label”⽆效。⼀个命名实体的第⼀个标签应该以“B-”⽽不是“I-”开头，换句话说，有效的模式应该是“OB-label”通过阅读本⽂，你将会知道为什么CRF层能够学习这些约束。

层

在CRF层的损失函数中，我们有两种类型分数。这两个分数是CRF层的关键概念。

2.1发射分数（Emission）

第⼀个是发射分数。那些发射分数来⾃BiLSTM层。例如下图所⽰，w

0标为B-Persond的分数是1.5。

image

为了⽅便，我们将给每个标签⼀个索引数字，如下图所⽰：

Label

B-Person

I-Person

B-OrganizationI-Organization

0

1

23

Index

O

LabelIndex

我们使⽤x

i

yi

表⽰发射概率。i是单词的序列，yi表⽰标签序列。例如，根据图2.1，x

i=1

,

yj=2

=x

w1

，B−Organization=0.1意味着w

1

作为B-Organization的分数是0.1。

2.2转移分数（Transition）

我们使⽤t

yiyj

去表⽰转移分数。⽐如t

B−Person,I−Person

=0.9意味着标签转换B−Person—>I−Person的分数是0.9。因此，转移分数矩阵，他存储了所有标签之间的所有分数。

为了使转换评分矩阵更健壮，我们将添加另外两个标签，START和END。START的意思是⼀个句⼦的开始，并不是第⼀个单词。END表⽰句⼦的结束。

下⾯是⼀个转换矩阵得分的例⼦，包括额外添加的START和END标签。

START

START

B-Person

I-Person

B-Organization

I-Organization

OEND

0

0

-1

0.9

-0.9

00

B-Person

0.8

0.6

0.5

0.5

0.45

0.650

I-Person

0.007

0.9

0.53

0.0003

0.007

0.00070

B-Organization

0.7

0.2

0.55

0.25

0.7

0.70

I-Organization

0.0008

0.0006

0.0003

0.8

0.65

0.00080

O

0.9

0.6

0.85

0.77

0.76

0.90

EN山东的211大学 D

0.08

0.009

0.008

0.006

0.2

0.080

上表所⽰，我们可以发现转移矩阵已经学习到了⼀些有⽤的约束。

在句⼦中第⼀个单词标签应该是以“B-“or“O”,not“I-“开始（看到“START”to“I-PersonorI-Organization”这些标签分数很低）

在此模式，“B-label1I-label2I-label3I-…”，l五指毛桃的作用与功效 abel1,label2,label3…应该是相同名称的实体标签。例如，“B-PersonI-Person”是有效的，但是“B-PersonI-Organization”是⽆效的烟花爆竹手抄报 。（⽐如B-Organization—>I-Person的分数只有0.0003，远低于其他）

“OI-label”⽆效。⼀个命名实体的第⼀个标签应该以“B-”⽽不是“I-”开头，换句话说，有效的模式卑躬屈膝的意思是什么 应该是“OB-label”（再次，⽐如

t

O,I−Persont是⾮常⼩的）

你可能想问⼀个关于矩阵的问题。在哪⾥间距怎么调 或者如何得到转换矩阵?

实际上，矩阵是BiLSTM-CRF模型的⼀个参数。在训练模型之前，你可以在矩阵中随机初始化所有学期末个人总结 的转换分数。在训练预告片英文 过程中所有的随机分数将⾃动更新。换句话说，CRF层可以通过⾃⼰学习这些约束。我们不需要⼿动的构建矩阵。随着训练迭代次数的增加，分数会逐渐趋于合理。

下⼀篇

2.3CRF损失函数

引⼊由真实路径分数和所有可能路径的总得分组成的CRF损失函数。

2.4真实路径分数

如何计算⼀个句⼦的真实标签的分数。

2.5所有可能路径的分数

如何通过简单的⽰例，计算⼀个句⼦所有可能的路径的总得分。

参考⽂献