【NLP】自然语言处理学习笔记（三）语音合成

本笔记参考的课程是李宏毅老师的自然语言处理
课程Link&＃xff1a;https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466

语音合成(TTS)指的是将文字信息转换成语音信息&＃xff0c;这在各种自媒体工具上非常常见。

在端到端的模型出现之前&＃xff0c;已经有人将深度学习应用在了语音合成之中。
下图中展示了Deep Voice初代结构&＃xff0c;它用了四个模型。
首先&＃xff0c;它将输入的文本信息(text)输入到Grapheme-to-phoneme转化成音位(phoneme)&＃xff0c;然后分成三部分&＃xff0c;第一部分输入到Duration Prediction中&＃xff0c;输出各音位的持续时间。第二部分输出到Fundamental Frequency Prediction中&＃xff0c;输出各音位的频率&＃xff0c;即模拟人发声时声带振动的频率&＃xff0c;其中X表示不需要振动。最终&＃xff0c;再将第三部分即原因素和前两部分一起输入到Audio Synthesis中&＃xff0c;输出最终得到的语音(audio)。

Tacotron是17年提出的端到端的语音合成模型&＃xff0c;其中Taco意思是墨西哥鸡肉卷&＃xff0c;因为论文作者喜欢tacos&＃xff0c;就这么命名。。
Tacotron的模型结构如下图所示&＃xff1a;

Tacotron中包含经典的Encoder、Attention、Decoder&＃xff0c;后续又添加了一个后处理的CBHG和Vocoder&＃xff0c;输出语音信号。

Encoder

首先看第一部分Encoder。
首先&＃xff0c;输入文本&＃xff0c;通过embeddings编码成向量&＃xff0c;经过一个Pre-net之后输入到CBHG结构&＃xff0c;下图中左侧展示了CBHG的具体组成方式&＃xff0c;即3个卷积层&＃xff0c;1个池化层&＃xff0c;1个残差结构&＃xff0c;最后通过GRU输出。
不过这个CBHG结构也不是一成不变的&＃xff0c;比如图中下侧展示了Tacotronv2版本的CBHG结构&＃xff0c;只有3个卷积层和一个LSTM做输出。

Attention

Attention的机制大概和语音识别里的类似&＃xff0c;这里只给了Attention效果的评估参考。纵轴是Encoder steps&＃xff0c;横轴是Decoder steps&＃xff0c;当Attention出现明显的对角线时&＃xff0c;说明训练的效果好。个人觉得&＃xff0c;也可以这样直观理解&＃xff1a;Encoder和Decoder在相同的时间步中聚焦于同一个信号&＃xff0c;说明注意力集中效果好&＃xff0c;否则注意力涣散&＃xff0c;效果不好。

Decoder

Encoder输出的context vector输入到Decoder&＃xff0c;Decoder具有重复类似的结构&＃xff0c;每个重复结构都包含一个Pre-net和两个RNN&＃xff0c;每个结构输出是多个spectrogram(spectrogram是waveform的频谱图&＃xff0c;在语音识别里有提到&＃xff09;&＃xff0c;其中&＃xff0c;选取最后一个spectrogram作为下一层结构的输入。
注意&＃xff0c;在第二个RNN结构中&＃xff0c;还需要输出一个信号来判断句子是否结束&＃xff0c;如果结束&＃xff0c;则不再进行下一层的输出。
另外值得注意的是&＃xff0c;在Pre-net中&＃xff0c;必须有dropout的操作&＃xff0c;如果没有dropout效果会很差&＃xff0c;这里的dropout就相当于随机采样。

Post processing

在Decoder之后&＃xff0c;进入到后处理(Post processing)&＃xff0c;后处理比较简单&＃xff0c;将Decoder输出的spectrogram再经过一个CBHG结构输出spectrogram&＃xff0c;为什么要再这样处理一下呢&＃xff1f;这是因为RNN是根据前面的输入产生输出&＃xff0c;是一个顺序结构&＃xff0c;如果后面想要进行修改就没机会了。Post processing就是给模型在看过整个句子的情况下&＃xff0c;再有一次修改输出的机会。
这里要计算两个Loss&＃xff0c;在Post processing处理前后的向量都要和groundtruth做loss。

Vocoder

Vocoder就是将spectrogram转换成语音信号&＃xff0c;这里具体结构不作细述。
第一代Tacotron使用的Vocoder是Griffin-Lim
第二代Tacotron使用的Vocoder是Wavnet

Work

下面通过具体的指标来看看Tacotron的效果。这里的指标采用的是mean opinion score&＃xff0c;即让一群人听合成出的声音来进行评分&＃xff0c;总分5分&＃xff0c;然后取平均值作为MOS。
从下图数据中&＃xff0c;可以发现Tacotron1代的评分为3.82&＃xff0c;还不如其它方法&＃xff0c;但在Tacotron2代&＃xff0c;它的评分达到了4.526&＃xff0c;基本接近了Ground truth的水平。

在这一节&＃xff0c;将讨论Tacotron之外的一些问题。

Mispronunciation

通过前面对Tacotron的了解&＃xff0c;大致知道Tacotron产生的语音是通过模型进行合成的&＃xff0c;这就难免会造成一些发音错误(mispronunciation)。
一种解决方式是构造一个词典(lexicon)&＃xff0c;这样Tacotron就可以根据词典查询对应的发音。

如果出现了一些词典中没有的新词汇&＃xff0c;Tacotron就根据自己的猜测进行发音&＃xff0c;如果发音正确&＃xff0c;将词典进行扩充。

More information for Encoder

关于Encoder也有优化的地方。比如&＃xff0c;遇到下面这种语法比较复杂的句子&＃xff0c;输入时可以对其进行语序划分。比如Syntactic information的方法&＃xff0c;以及BERT embedding方法(这个后续会继续深入学习)。

Attention

关于Attention&＃xff0c;也有优化的地方&＃xff0c;这里简单描述三种优化方式。

Guided Attention

前面提到过Attention最好是一条清晰的对角线。
Guided Attention的思路是给这条对角线限定蓝色区域的范围&＃xff0c;如果Attention进入到红色区域&＃xff0c;就会收到相应惩罚。

Monotonic Attention

Monotonic Attention的思路是给Attention加了一个限制&＃xff0c;即要求Attention必须要从左向右&＃xff0c;如图所示&＃xff0c;这样限制出来就近似会接近对角线的情况。

Location-aware attention

Location-aware attention的思路是计算attention是查看上一时刻附近的attention&＃xff0c;比如下图中要计算a1,2&＃xff0c;就会选取a0,1 a0,2 a0,3的attention参与计算。

Fast Speech和DurlAN是同时期独立提出的模型&＃xff0c;其结构如下图所示。
输入文本信息&＃xff0c;将其Encoder之后&＃xff0c;再计算Duration&＃xff0c;这里的Duration表示持续时间&＃xff0c;取的是整数。比如下图中&＃xff0c;Duration取值为2&＃xff0c;3&＃xff0c;1&＃xff0c;Add length就将红色复制为2&＃xff0c;蓝色复制为3&＃xff0c;黄色不变保持1&＃xff0c;然后输入到Decoder中&＃xff0c;输出spectrogram。

值得注意的是&＃xff0c;由于Duration取值为整数&＃xff0c;直接进行反向传播训练时&＃xff0c;duration无法求微分&＃xff0c;于是训练思路就是在Duration中引入groundtruth进行单独训练。这里的groundtruth比较难直接获取&＃xff0c;可以通过其它模型计算得到。

下面看一下对于比较复杂的长难度句&＃xff0c;Fast Speech的表现如何。

上图中是一些比较拗口的难句&＃xff0c;可以看到Tacotron和Transformer的错误率都在30%左右&＃xff0c;而Fast Speech做到了0错误&＃xff01;可见其效果很强。

上面在Fast Speech中提到&＃xff0c;Duration的groundtruth可以由其它模型得到&＃xff0c;这带来的一个启发就是&＃xff0c;是否可以用不同的模型实现对抗竞争性的训练(Dual Learning)。
下图中就提到了一种设计思路&＃xff0c;可以将文字转语音(TTS)和语音转文字(ASR)放到一起训练&＃xff0c;这样起到了同时训练的效果。

下面将前面的语音合成(TTS)再做进一步拓展。之前的模型结构&＃xff0c;基本实现了文字转语音的功能&＃xff0c;但是对语音的情绪&＃xff0c;包括语调&＃xff0c;重音&＃xff0c;韵律等没做过多的控制(Control)&＃xff0c;下面将考虑这些因素。

下图展示了一种训练思路。
在TTS模型中&＃xff0c;除了输入需要转换的文本外&＃xff0c;还输入一段语音&＃xff0c;输出的语音将包含文本的内容和输入语音的特征。然后训练目标就是让输出语音和输入语音尽可能接近。

这和前面语音转换中的思路比较类似&＃xff0c;直接这样做会带来的一个问题就是&＃xff0c;输出的语音将无限接近输入的语音&＃xff0c;最终相当于直接copy输入语音来输出&＃xff0c;这样的损失一定最小&＃xff0c;这样的话就会忽视了输入文本的内容&＃xff0c;因为这样做无法准确地把输入语音的语音信息排除开来。

解决这一问题的思路也比较简单。在输入语音中&＃xff0c;加一个特征提取器&＃xff0c;我们只需要提取输入语音的特征&＃xff0c;过滤掉输入语音的语义信息。

GST-Tacotron

GST-Tacotron方法提供了一个具体的处理方式。
它将输入语音(Reference audio)通过一个特征提取器只输出一个向量&＃xff0c;将该向量复制多份和Encoder出的结果进行注意力计算&＃xff0c;然后输入到Decoder后面输出&＃xff0c;后续结构和Tacotron一样&＃xff0c;下图中进行了省略。

下面将特征提取器的结构拆开看看。
为什么GST-Tacotron能够将Reference audio的语义信息隔离开呢&＃xff1f;
这是因为&＃xff0c;Feature Extractor提取的信息不是直接输入到下一层&＃xff0c;而是将其变成了一个权重向量。里面有一个已经提前学习好的vector set&＃xff0c;这个是真正代表语义风格的Tokens&＃xff0c;比如下图中的A代表高音&＃xff0c;B代表低音&＃xff0c;C代表韵律等特征&＃xff0c;attention weight就是调整它们的比例&＃xff0c;使其接近输入语音的特征&＃xff0c;最后将他们加权相加&＃xff0c;输出一个融合的特征向量。

2nd stage training

当然&＃xff0c;除了特征提取的思路外&＃xff0c;还有另一种处理思路。 2nd stage training就是保持了训练场景和测试场景一样&＃xff0c;即输入文本和参考语音。然而&＃xff0c;因为这样没有groundtruth&＃xff0c;无法直接训练。

于是2nd stage training就借鉴了前面Dual Learning的思想&＃xff0c;再输出语音后面加上一个ASR&＃xff0c;将输出语音重新转回文本&＃xff0c;然后比较输入输出文本的差异&＃xff0c;从而做损失进行训练。这样就可以自然地让TTS逐渐倾向于只提取reference audio的特征信息&＃xff0c;过滤语义信息。