转载｜使用PaddleFluid和TensorFlow训练序列标注模型

这一篇我们使用 Standford CS224d 课程中作业 2 [2] 的 NER 任务数据作为训练数据源。 进入 data 目录运行 data/download.sh 脚本下载数据并预处理训练数据。预处理包括&＃xff1a;1. 为输入文本序列建立词典&＃xff1b;2. 组织输入数据格式。 

运行结束将会在 data 目录下看到如下内容。

data
├── dev
├── dev_src.txt
├── dev_src.vocab
├── dev_trg.txt
├── dev_trg.vocab
├── download.sh
├── preprocess.py
├── train
├── train_src.txt
├── train_src.vocab
├── train_trg.txt
└── train_trg.vocab

其中需要重点关注的是 train_src.txt 、 train_trg.txt 、 train_src.vocab和train_trg.vocab文件。它们分别是&＃xff1a;输入文本序列&＃xff1b;文本对应的标记序列&＃xff1b;输入文本序列的词典以及标记序列词典。 train_src.txt 和 train_trg.txt 的一行是一条训练样本&＃xff0c;他们严格一一对应。分别执行head -n 1 train_src.txt 和 head -n 1 train_trg.t xt 会看到如下内容&＃xff1a;

EU rejects German call to boycott British lamb .

B-ORG O B-MISC O O O B-MISC O O程序结构

我们首先在此整体回顾一下使用 PaddleFluid 平台和 TensorFlow 运行神经网络模型的整体流程。

PaddleFluid

1. 调用 PaddleFluid API 描述神经网络模型。PaddleFluid 中 一个神经网络训练任务被称之为一段 Fluid Program 。 

2. 定义 Fluid Program 执行设备&＃xff1a; place 。常见的有 fluid.CUDAPlace(0) 和fluid.CPUPlace() 。

place &＃61; fluid.CUDAPlace(0) if conf.use_gpu else fluid.CPUPlace()

注&＃xff1a;PaddleFluid 支持混合设备运行&＃xff0c;一些 运算&＃xff08;operator&＃xff09;没有特定设备实现&＃xff0c;或者为了提高全局资源利用率&＃xff0c;可以为他们指定不同的计算设备。

3. 创建 PaddleFluid 执行器&＃xff08;Executor&＃xff09;&＃xff0c;需要为执行器指定运行设备。

exe &＃61; fluid.Executor(place)

4. 让执行器执行 fluid.default_startup_program() &＃xff0c;初始化神经网络中的可学习参数&＃xff0c;完成必要的初始化工作。 

5. 定义 DataFeeder&＃xff0c;编写 data reader&＃xff0c;只需要关注如何返回一条训练/测试数据。 

6. 进入训练的双层循环&＃xff08;外层在 epoch 上循环&＃xff0c;内层在 mini-batch 上循环&＃xff09;&＃xff0c;直到训练结束。

TensorFlow 

1. 调用 TensorFlow API 描述神经网络模型。 TensorFlow 中一个神经网络模型是一个 Computation Graph。

2. 创建 TensorFlow Session 用来执行计算图。

sess &＃61; tf.Session()

3. 调用 sess.run(tf.global_variables_initializer()) 初始化神经网络中的可学习参数。

4. 编写返回每个 mini-batch 数据的数据读取脚本。

5. 进入训练的双层循环&＃xff08;外层在 epoch 上循环&＃xff0c;内层在 mini-batch 上循环&＃xff09;&＃xff0c;直到训练结束。

如果不显示地指定使用何种设备进行训练&＃xff0c;TensorFlow 会对机器硬件进行检测&＃xff08;是否有 GPU&＃xff09;&＃xff0c; 选择能够尽可能利用机器硬件资源的方式运行。 

基于 PaddleFluid 和 TensorFlow 的序列标注网络分别定义在 sequence_tagging_fluid.py 和 sequence_tagging_tensorflow.py 的 NER_net 类中&＃xff0c;详细信息请参考完整代码&＃xff0c;这里对重要部分进行说明。 

加载训练数据 

PaddleFluid&＃xff1a;编写Data Reader 

PaddleFluid 模型通过 fluid.layers.data 来接收输入数据。序列标注网络以图片以及图片对应的类别标签作为网络的输入&＃xff1a;

self.source &＃61; fluid.layers.data(name&＃61;"source", shape&＃61;[1], dtype&＃61;"int64", lod_level&＃61;1)
self.target &＃61; fluid.layers.data(name&＃61;"target", shape&＃61;[1], dtype&＃61;"int64", lod_level&＃61;1)

定义 data layer 的核心是指定输入 Tensor 的形状&＃xff08; shape &＃xff09;和类型。

序列标注中&＃xff0c;输入文本序列和标记序列都使用 one-hot 特征作为输入&＃xff0c;一个词用一个和字典大小相同的向量表示&＃xff0c;每一个位置对应了字典中的 一个词语。one-hot 向量仅有一个维度为 1&＃xff0c; 其余全部为 0。在上面定义的 data layer 中 source 和 target 的形状都是 1&＃xff0c;类型是 int64 。 

PaddleFluid 支持非填充的序列输入&＃xff0c;这是通过 LoD Tensor 实现的。关于什么是 LoD Tensor请参考上一篇使用 PaddleFluid 和 TensorFlow 训练 RNN 语言模型中的介绍&＃xff0c;这一篇不再赘述。有了 LoD Tensor 的概念后&＃xff0c;在 PaddleFluid 中&＃xff0c;通过 DataFeeder 模块来为网络中的 data layer 提供数据&＃xff0c;调用方式如下面的代码所示&＃xff1a;

train_reader &＃61; paddle.batch(paddle.reader.shuffle(data_reader(conf.train_src_file_name, conf.train_trg_file_name,conf.src_vocab_file, conf.trg_vocab_file),buf_size&＃61;1024000),batch_size&＃61;conf.batch_size)place &＃61; fluid.CUDAPlace(0) if conf.use_gpu else fluid.CPUPlace()
feeder &＃61; fluid.DataFeeder(feed_list&＃61;[net.source, net.target], place&＃61;place)


观察以上代码&＃xff0c;需要用户完成的仅有&＃xff1a;编写一个实现读取一条数据的 python 函数&＃xff1a;data_reader 。 data_reader 的代码非常简单&＃xff0c;我们再来看一下它的具体实现&＃xff1a;

def data_reader(src_file_name, trg_file_name, src_vocab_file, trg_vocab_file):def __load_dict(dict_file_path):word_dict &＃61; {}with open(dict_file_path, "r") as fdict:for idx, line in enumerate(fdict):if idx < 2: continueword_dict[line.strip().split("\t")[0]] &＃61; idx - 2return word_dictdef __reader():src_dict &＃61; __load_dict(src_vocab_file)trg_dict &＃61; __load_dict(trg_vocab_file)with open(src_file_name, "r") as fsrc, open(trg_file_name,"r") as ftrg:for src, trg in izip(fsrc, ftrg):src_words &＃61; src.strip().split()trg_words &＃61; trg.strip().split()src_ids &＃61; [src_dict[w] for w in src_words]trg_ids &＃61; [trg_dict[w] for w in trg_words]yield src_ids, trg_idsreturn __reader


在上面的代码中&＃xff1a; 

1. data_reader 是一个 python generator &＃xff0c;函数名字可以任意指定&＃xff0c;无需固定。 

2. data_reader 打开输入序列文件和标记序列文件&＃xff0c;每次从这两个文件读取一行&＃xff0c;一行既是一条训练数据&＃xff0c;返回一个 python list&＃xff0c;这个 python list 既是序列中所有时间步。具体的数据组织方式如下表所示&＃xff0c;其中 i 代表一个整数&＃xff1a;

3. paddle.batch() 接口用来构造 mini-batch 输入&＃xff0c;会调用 data_reader 将数据读入一个 pool 中&＃xff0c;对 pool 中的数据进行 shuffle&＃xff0c;然后依次返回每个 mini-batch 的数据。

TensorFlow&＃xff1a;使用Dataset API

在之前的篇章中我们都使用 TensorFlow 的 placeholder 接入训练数据&＃xff0c;这一篇我们使用一种新的方式 TensorFlow 在 r1.3 版本之后引入的 Dataset API 来读取数据。

参考 Google 官方给出的 Dataset API 中的类图 [3]&＃xff0c;使用 TensorFlow 的 Dataset API&＃xff0c;首先引入两个抽象概念&＃xff1a;

1. tf.data.Dataset 表示一系列元素&＃xff0c;其中每个元素包含一个或多个 Tensor 对象。

2. tf.data.Iterator 提供了从数据集中取出元素的方法。 Iterator.get_next() 会在执行时生成Dataset 的下一个 /mini-batch 元素。

定义 Dataset 

目前 Dataset API 还提供了三种预定义好的定义 Dataset 的方式。这一篇中我们主要面向文本数据的处理&＃xff0c;使用其中的 TextLineDataset 接口。 

tf.data.TextLineDataset&＃xff1a;接口的输入是一个文件列表&＃xff0c;输出是一个 TensorFlow dataset &＃xff0c;dataset 中的每一个元素就对应了文件中的一行。通过下面的调用传入输入序列文本路径和标记序列文本路径便可返回一个 Dataset 。

src_dataset &＃61; tf.data.TextLineDataset(src_file_name)
trg_dataset &＃61; tf.data.TextLineDataset(trg_file_name)

获取 Iterator 

需要说明的是&＃xff0c;TensorFlow 中的循环神经网络要求一个 mini-batch 之内序列长度相等&＃xff0c;使用 Dynamic RNN 时&＃xff0c;batch 和 batch 之间序列长度可以不相等&＃xff0c;因此对一个 mini-batch 之内的数据需要进行填充。 

Dataset API 提供了 padded_batch 帮助构造填充后的 mini-batch 数据。 

提示&＃xff1a;使用 bucket 分桶&＃xff0c;从桶内取 mini-batch 数据&＃xff0c;填充至一个 batch 中的最长序列长度能够有效提高 dynamic rnn 的计算效率。 

下面的代码返回 Iterator &＃xff0c;使用先分桶&＃xff0c;然后再取 mini-batch 数据填充至  batch 中最长序列长度的方式。完整代码请参考&＃xff1a;iterator_helper_tf [4]。

def get_data_iterator(src_file_name,trg_file_name,src_vocab_file,trg_vocab_file,batch_size,pad_token&＃61;"

构建网络结构及运行

构建网络结构及运行的过程对两个平台上都是常规流程。

1. 构建网络时调用相关的 API 接口&＃xff0c;令一个 计算单元的输出成为下一个计算单元的输入建立起网络的连通性&＃xff1b;具体请参考 sequence_tagging_fluid.py 和 sequence_tagging_tensorflow.py 中 NER_net 类的实现。

2. 运行训练以及解码具体请参考 sequence_tagging_fluid.py 和 sequence_tagging_tensorflow.py 中 train 函数的实现。

模型中核心模块&＃xff1a;LSTM 单元在两个平台下的差异及注意事项请参考上一篇&＃xff1a;使用 PaddleFluid 和 TensorFlow 训练 RNN 语言模型&＃xff0c;这里不再赘述。

这一篇继续在序列标注模型中了解 PaddleFluid 和 TensorFlow 在接受序列输入&＃xff0c;序列处理策略上的不同。 

1. PaddleFluid 引入了 LoD Tensor 的概念&＃xff0c;所有序列处理模块&＃xff08;包括所有循环神经网络单元&＃xff0c;文本卷积&＃xff09;都支持非填充的序列输入&＃xff0c;使用时无需对 mini-batch 数据进行填充&＃xff0c;也就避免了对填充位的各种特殊处理&＃xff0c;这一点非常方便。 

2. TensorFlow 中的 Dynamic RNN 支持 mini-batch 之间序列不等长&＃xff0c;但仍要求一个 mini-batch 内的数据填充至一样长。 

3. PaddleFluid 中通过 Data Feeder 提供训练数据&＃xff0c;只需要编写一个 python generator 实现从原始输入文件中读取一条训练样本&＃xff0c; 框架会完成数据 shuffle 和组织 mini-batchd 工作。 

4. 这一篇使用了 TensorFlow r1.3 后 release 的 Dataset API&＃xff0c;数据读取部分也是一个 computation graph&＃xff0c;能够提高 I/O 效率&＃xff0c;使用相对复杂一些。 

本篇代码中提供了通过数据并行策略在 PaddleFluid 平台下使用多块 GPU 卡进行训练&＃xff0c;在 TensorFlow 中使用多卡相对复杂一些&＃xff0c;这些主题会在下面继续讨论。

[1]. 本文配套代码

https://github.com/JohnRabbbit/TF2Fluid/tree/master/05_sequence_tagging

[2].  Standford CS224d课程作业2

http://cs224d.stanford.edu/assignment2/index.html

[3]. Google官方Dataset API

https://developers.googleblog.com/2017/09/introducing-tensorflow-datasets.html

[4]. iterator_helper_tf

https://github.com/JohnRabbbit/TF2Fluid/blob/master/05_sequence_tagging/iterator_helper_tf.py