有许多朋友都问过我这个问题,有三兄为什么你不解读最新的论文呢?今天来给大家说道说道。
最新的论文解读当然是有的
其实最新的论文解读一直都是有的,只是没有放在公众号。我们的内容生态分为:书+季划+知识星球+直播+微信公众号几大块,这里我将微信公众号列在最后,是因为公众号的生态是免费的,面向的也是所有基础的人。
虽然我们的公众号生态已经很大,一年能做到500篇文章,但这不是我们的全部内容。
公众号大概有1/4的内容,星球大概有1/4的内容,剩下1/2的内容在书+季划+直播中。
那么最新文章的解读在哪里呢?答案是有三AI知识星球,比如下面是对近期导致LeCun退出Twitter的PULSE论文的分享解读。
有三AI知识星球-网络结构1000变
PULSE
PULSE(Photo Upsampling via Latent Space Exploration)是一个自监督的基于图像生成的超分辨框架,可以实现高达64倍的超分辨。
作者/编辑 言有三
一般来说,超分辨就是从低分辨率图LR到高分辨率图HR的转换,最简单的就是插值法,复杂一些的就是使用网络对像素进行学习补全,以MSE为优化目标的方法的缺陷主要在于结果会趋向平均,本质上是一系列高分辨率图像进行加权平均的结果,因此比较模糊,这无法通过调整网络结构解决,感知损失和GAN框架常被用于对结果进行改进,但仍然会使得重建结果不真实,缺乏细节。
PULSE方法则开辟了新的思路,它要找到一个解,使得从多幅高分辨率图进行下采样,可以得到同样的低分辨率图,如下图。高分辨率图则是通过生成网络框架生成,比如StyleGAN生成的人脸。
从低分辨率图到高分辨率图的转换是一个一对多的问题,本框架要解决的问题如下:
其中I是一个高分辨率的图片集合,DS就是降采样操作,上式的意义就是要找到一系列的I组成的集合Rε,使其降采样后与真实的低分辨率图像ILR最接近。
因此,PULSE的整个流程不是通过给低分辨率图进行逐步上采样,补充细节,而是遍历生成的HR图像,并将这些HR图像对应的LR图像与输入图原图进行对比,其中最接近的就是解,这是和当前大部分超分辨框架的不同之处。
上图是一个从原始空间到隐空间的示意图,其中深色部分表示是一个比较自然的解区间,而以FSRNet,FSRGAN为代表的方法则不在这个解区间中。PULSE可以约束搜索空间在自然解组成的范围,从而保证结果的真实性。
整个框架的优化目标被称为下采样目标,定义如下:
其中需要求得z满足下式,其中z分布在一个高维欧式空间的球形区域内:
下图展示了一些和其他方法的对比结果。
可以看出本方法的细节效果要好得多,下表展示的是主观评测分数,可以看出PULSE方法效果已经逼近真实解。
下图展示了不同失真下的恢复结果,可以看出模型的鲁棒性非常好。
不过该方法仅会生成实际上不存在但看上去很真实的新面孔,因为真实面孔本身的信息就是缺失的,这是不可能恢复的,必然是一个答案不唯一的解,可以通过对生成框架进行不同的噪声输入扰动来获取。
参考文献
[1] Menon S, Damian A, Hu S, et al. PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models[J]. arXiv: Computer Vision and Pattern Recognition, 2020.
所有的文章解读,都以知识卡片+论文的方式,在知识星球中进行分享,如下:
为什么选择知识星球呢?有这么几个原因。
(1) 知识星球可以每天无限发文,而公众号只能发一次。
(2) 知识星球可以一起发图片,PDF,代码,并且随时都可以更新。
(3) 知识星球是收费的。
所以这实现了***的技术分享,并且可以让有三获得一些回报,内容全部在网络结构1000变标签中,有好几百期内容。每一篇文章解读都不是简单的信息罗列,而是认真研读过论文的精简总结,选择的也是比较具有价值的文章而不是水文。
如果你想跟读相关内容,那就扫码加入知识星球吧,一天不到一块钱。
星球的内容是非常多的,了解详细请阅读文章:
【杂谈】有三AI知识星球一周年了!为什么公众号+星球才是完整的?
【杂谈】万万没想到,有三还有个保密的‘朋友圈’,那里面都在弄啥!
各个方向都有对应的知识卡片,且会一直更新。
更看重知识的完整性
大家也看了我们不少文章了,不知道有没有注意到,我们的技术文章有几个特点。
(1) 不做单篇文章解读,而是会做总结性质的文章,里面必须拥有自己的思考,而不是对内容的简单翻译。
(2) 标题永远不带“xx机构,“xx大咖”,“xx会议”之类的字眼,我希望大家能够专注于内容本身,而不是被这些外物过多吸引眼球。
所以,我们几乎不会单独就一篇文章来占用公众号文章的发文资源。
关于论文阅读
关于论文的阅读和学习,虽然最新的研究往往有更好的结果,但对于还不熟悉该领域的同学来说,并不一定能够驾驭,所以建议大家还是循序渐进首先储备好相关知识,磨刀不误砍柴工,这样可能会更快。
所以,我们公众号准备了论文阅读板块,专门针对各个方向,挑选其中值得读的研究,如下:
【每周论文推荐】 初入深度学习CV领域必读的几篇文章
【每周CV论文推荐】 掌握残差网络必读的10多篇文章
【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章
【每周CV论文推荐】 CV领域中数据增强相关的论文推荐
【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章
【每周CV论文推荐】 初学目标检测必须要读的文章
【每周CV论文推荐】 初学深度学习图像分割必须要读的文章
【每周CV论文推荐】 初学GAN必须要读的文章
【每周CV论文推荐】 深度学习人脸检测入门必读文章
【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章
【每周CV论文推荐】 初学深度学习人脸识别和验证必读文章
【每周CV论文推荐】 初学深度学习人脸属性分析必读的文章
【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章
【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章
【每周CV论文推荐】 人脸识别剩下的难题:从遮挡,年龄,姿态,妆造到亲属关系,人脸攻击
【每周CV论文推荐】换脸算法都有哪些经典的思路?
【每周CV论文】深度学习文本检测与识别入门必读文章
【每周CV论文】深度学习图像降噪应该从阅读哪些文章开始
往期相关
【星球知识卡片】残差网络家族10多个变种学习卡片,请收下!
【星球知识卡片】移动端高效率的分组网络都发展到什么程度了?
【星球知识卡片】注意力机制发展如何了,如何学习它在各类任务中的应用?
【星球知识卡片】模型剪枝有哪些关键技术,如何对其进行长期深入学习
【星球知识卡片】模型量化的核心技术点有哪些,如何对其进行长期深入学习
【星球知识卡片】模型蒸馏的核心技术点有哪些,如何对其进行长期深入学习
【星球知识卡片】视频分类与行为识别有哪些核心技术,对其进行长期深入学习
【星球知识卡片】图像生成都有哪些核心技术,如何对其进行长期深入学习
【星球知识卡片】AutoML都有哪些核心技术,如何对其进行长期深入学习