命名实体识别NER实战之基于bert（二）

这篇继续介绍下CRF，最后使用Bert实现Ner任务。

1，CRF

我们先看两张简图。

图一是Bilstm也就是上一篇介绍的模型，图二就是BiLstm+CRF。对比两图不难发现，图二在标签之间也存在着路径连接，这便是CRF层。这里CRF的作用就是对各标签的之间的转移概率进行建模，然后在所有的标签序列中，选取一条最优结果(在概率图中叫最优路径)，例如，词性标注任务中，形容词后面接名词的概率比较大，所以模型更倾向于在形容词后面选着一个名词。

而 BiLstm+CRF 网络 就是将Bilstm的输出，也就是每个单词对应标签的值(注意BiLstm的输出建议不要使用sigmoid、tanh或softmax做转换)输入到CRF中。在CRF内部，首先会随机初始化一个[tag_size,tag_size]的矩阵A，tag_size就是标签的个数，所以A ij 就代表标签i到标签j的转移概率。这个矩阵最后通过学习得到。

有了这个矩阵我们就可以对一个标签序列计算一个分值。

这里X就是我们观测到的语句，例如:刘媛被清华大学录取。y就是X的标签序列。T代表我们句子的长度， 就代表t-1时刻的标签转移到t时刻标签的值，从标签转移矩阵A中获得， 就是t时刻BiLstm的输出值。so,就是这幺简单，一个标签序列的分数，只需简单的加法就可以得到。但是注意这里 是一个分值，并不是一个概率值。需要用下面的公式将分值转换成概率。

这里 就是当前语句 对应的所有标签序列 的 之和。假设 包含10个单词，任务有3个标签， 种标签序列。 接下来看下如何训练， 对于语句 都有答案序列 ，我们求出答案序列y的得分，使用softmax得到其概率，最后使用最大似然估计来求解，也就是最小化下面的损失函数：

简化下公式：

这里 就是答案标签序列 对应的分值，这个很容易计算，麻烦的是 如何计算。其实这里不用太担心，因为我们只要求出了 时刻的所有序列的值，就可以求出 时刻所有序列的值。 下面是简单说明下： 假设我们的 只有两个单词，所以 可以拆解成 我们用 和 来分别代表 所以 而 带入原式就得到 而s1时刻所有序列的值正是 所以对于求 ，我们只需将每一时刻的序列总值求出即可。

上面就是在 Bidirectional LSTM-CRF Models for Sequence Tagging 这篇paper中提到的CRF方法，但这并不是CRF的全部，想要全面的了解CRF需要概率图模型的知识，这个后期会在做个详细的介绍。

2,代码篇

在tensorflow中使用CRF是很方便的一件事，因为tensorflow已经全部封装好了，一个方法即可调用。

log_likelihood, trans = tf.contrib.crf.crf_log_likelihood(
                inputs=logits, # logits 就是Bilstm的输出，每个token对应的标签值，[batch_size,seq_len,tag_num]
                tag_indices=self.labels,# 每个token对应的真实标签
                sequence_lengths=self.lengths)# 每个样本的句子长度

方法返回的log_likelihood就是对应的loss值，trans 就是标签的转移矩阵。 建立train_op的时候，注意梯度下降的时候需要tf.reduce_mean(-log_likelihood)

train_op = tf.train.AdamOptimizer(learning_rate).minimize(tf.reduce_mean(-log_likelihood))

####预测阶段

预测的时候就是在所有的标签序列中，找出分值最大的那个。这里要用到Viterbi算法，tensorflow同样也做好了封装。

decode_tags, best_score= tf.contrib.crf.crf_decode(potentials=logits, transition_params=trans, sequence_length=self.lengths)

输入：

logits : 就是Bilstm的输出，也就是每个词对于每个标签的分数。 transition_params : CRF训练出的标签转移概率矩阵。 sequence_length ：预测样本的句子长度。

返回：

decode_tags :预测的最优标签序列。

best_score ：预测的最优标签序列对应的分值。