李宏毅机器学习系列无监督学习之生成模型

我们知道机器是可以学习我们告诉他的东西&＃xff0c;也可以学习没有标签的东西&＃xff0c;但是能不能让他自己有创造力呢&＃xff0c;这个是可以有的&＃xff0c;比如让他看了很多动漫头像后&＃xff0c;他自己能不能尝试着画出来没出现过的&＃xff0c;或者让他读了很多诗之后自己写几句&＃xff1a;

所以牛人门开始研究生成模型&＃xff0c;比如openai发过的文章&＃xff0c;开头引用了费曼黑板上的话&＃xff0c;意思是说没有自己做出来不算是真正搞懂的&＃xff0c;或许我们让机器去分类猫和狗&＃xff0c;但是他其实并不知道什么是猫&＃xff0c;什么是狗&＃xff1a;

所以如果他能画出来狗或者猫的图像&＃xff0c;或许他才能真正的理解&＃xff1a;

下面介绍几种生成模型&＃xff1a;

PixelRNN

这个其实看起来像RNN的那种循环输入&＃xff0c;RNN后面会讲到。他做的一件事就是我现在要生成一个图片&＃xff0c;但是我只给了一个像素点&＃xff0c;让机器根据这个点去生成整个图片&＃xff0c;机器会根据之前生成的点来生成下一个点&＃xff0c;比如那生成3x3图片的例子来说&＃xff0c;最开始有一个初始的点&＃xff0c;把他输入到一个神经网络&＃xff0c;得到一个新的点&＃xff0c;把他作为第二个点&＃xff1a;

然后现在的图是这样&＃xff1a;

然后拿这个两个点做输入&＃xff0c;得到第三个点&＃xff0c;可能有人会问&＃xff0c;这个输入个数变了&＃xff0c;这个可以用RNN处理&＃xff0c;后面学到的时候就知道了&＃xff1a;

然后现在的图是这样&＃xff1a;

然后我们继续这样做&＃xff0c;直到生成9个像素为止&＃xff1a;

我们最后得到&＃xff1a;

有人会问&＃xff0c;这个能行么&＃xff0c;当然行啦&＃xff0c;我们拿别人做的实验来说下&＃xff0c;左边是一张狗的图&＃xff0c;机器没看到过的&＃xff0c;我们把狗的下半身遮住&＃xff0c;然后让机器来补全&＃xff0c;最后发现他会补全&＃xff0c;但是很奇怪&＃xff0c;或许他的训练图片里都是这样的下半身&＃xff0c;所以他大概率都补全成这样&＃xff1a;

当然也可以用在语音合成上&＃xff0c;比如著名的WaveNet&＃xff0c;他就是用类似的方法&＃xff0c;把生成出来的新点加到输入中&＃xff0c;继续生成后面的点&＃xff1a;

来举一个我们比较熟悉的例子&＃xff0c;又是宝可梦哈哈&＃xff0c;李宏毅老师比较喜欢&＃xff0c;我们现在不去抓宝可梦&＃xff0c;而是去创造新的宝可梦&＃xff0c;原始的宝可梦图是40x40的&＃xff0c;我们缩小到20x20&＃xff1a;

我们知道像素是RGB三个颜色合起来的值&＃xff0c;但是如果三个颜色都比较接近&＃xff0c;点就比较暗&＃xff1a;

所以我们做了个处理&＃xff0c;把每个颜色的用1-of-N encoding向量来处理&＃xff0c;那这样有很多颜色&＃xff0c;不是很麻烦么&＃xff0c;没事&＃xff0c;我们再做一层聚类&＃xff0c;把相似的颜色用同一个向量来表示&＃xff0c;最后发现颜色有167个&＃xff1a;

下面老师把处理好的图片文件&＃xff0c;每一行是一个宝可梦&＃xff0c;数字所代表的颜色在图右边&＃xff0c;接下来用一个512的LSTM来训练&＃xff0c;LSTM是RNN的一种&＃xff0c;后面文章会讲到&＃xff1a;

训练完后我们做生成测试&＃xff0c;我们拿机器没看过的图片&＃xff1a;

如果只给他看50%的部分&＃xff1a;

他补全的结果如下&＃xff0c;左边的好像穿了个背带裤&＃xff0c;中间的变长了&＃xff0c;右边的把身体和脚生成出来了&＃xff0c;效果还不错&＃xff1a;

再来看看只给25%&＃xff1a;

结果左边好像变腊肠了&＃xff0c;中间产生了一个眼睛&＃xff0c;右边产生了一个兔子的脸&＃xff0c;还有耳朵&＃xff1a;

如果让他从头开始画呢&＃xff0c;好像有点有意思的图案&＃xff0c;但是不太看的出是什么&＃xff1a;

VAE

先看看我们之前的自编码器的结构&＃xff0c;输入一张图片&＃xff0c;生成一个code&＃xff0c;然后再还原&＃xff0c;我们能不能控制产生什么样的图片呢&＃xff0c;能不能通过调节code来生成一些我们想要的图片&＃xff1a;

我们可以在code这层做点改变&＃xff0c;让他变成从某个高斯混合分布里采样出来的code&＃xff0c;具体的理论可以看我写的文章&＃xff0c;我就不多说了&＃xff1a;

这个是openai在cifar-10上的结果&＃xff0c;还挺奇怪的&＃xff1a;

但是我们已经可以控制生成的一些特征了&＃xff0c;比如宝可梦的例子&＃xff0c;生产了一个10维的向量&＃xff0c;我们固定其中的8维&＃xff0c;然后把剩下的两维采样很多的点&＃xff0c;生成很多个图&＃xff0c;然后观察他们之间的变化&＃xff0c;这样我们就可以知道这两个维度是干嘛的&＃xff0c;也就可以取不同的值对生成的图片进行调整&＃xff0c;同样的方法可以确定所有的维度代表着什么意义&＃xff1a;

我们来看看变化了两个维度的结果&＃xff0c;很明显左到右&＃xff0c;好像是站起来了&＃xff0c;上到下好像是爬下去了&＃xff0c;这样我们就可以控制这两个维度来调节这两个特征&＃xff1a;

如何用VAE来写诗呢&＃xff0c;原理是一样的&＃xff0c;输入一句诗&＃xff0c;转成一个code&＃xff0c;然后输出一句诗&＃xff1a;

比如我们有两句话&＃xff0c;我们把他们的code找出来&＃xff0c;然后在明天之间等间隔采样一些code&＃xff0c;然后用解码器解码&＃xff0c;就可以写出一些句子了&＃xff1a;

本篇主要介绍了一些生成模型&＃xff0c;可以用来创造东西&＃xff0c;后面还有个GAN可以看我其他的文章&＃xff0c;有一个GAN系列&＃xff0c;后面会讲。附思维导图&＃xff1a;

好了&＃xff0c;今天就到这里了&＃xff0c;希望对学习理解有帮助&＃xff0c;大神看见勿喷&＃xff0c;仅为自己的学习理解&＃xff0c;能力有限&＃xff0c;请多包涵&＃xff0c;图片来自李宏毅课件&＃xff0c;侵删。