基于NN的编码：PreliminaryresultsofNeuralNetworkLoopFilter[DNNVC]（Alibaba）

 JVET-U0054

在本提案中&＃xff0c;提供了一个基于神经网络的环路滤波器&＃xff08;neural network based loop filter&＃xff0c;NNLF&＃xff09;的初步结果。初步结果表明&＃xff0c;在HD序列的RA配置下&＃xff0c;NNLF对Y、U和V分量的编码增益分别比VVC高5.57%、12.55%和13.62%。

网络结构

本提案使用残差网络结构&＃xff08;ResNet&＃xff09;&＃xff0c;如图左所示&＃xff0c;主要有m层的resblock组成&＃xff0c;resblock的结果如右图所示&＃xff0c;其中act指的是active function&＃xff0c;即激活函数。网络总共64层&＃xff0c;采用3x3x64的卷积核&＃xff0c;使用ReLU作为激活函数

网络的输入是YUV444格式的&＃xff0c;对于YUV420格式需要对色度分量进行上采样&＃xff0c;上采样的方式是直接从相邻像素中进行复制。

网络的输出也是YUV444格式的&＃xff0c;从YUV444到YUV420需要下采样&＃xff0c;下采样的方式是为每个2x2色度块保存左上角位置处的像素值

训练

训练使用的是Vimeo90K数据集。利用VTM9.3对原始视频进行RA压缩&＃xff0c;得到重建帧作为训练数据集。在我们的实现中&＃xff0c;使用了32个res块&＃xff0c;并且每个卷积层的通道数设置为64。对于卷积过程&＃xff0c;使用3x3的卷积核。因此&＃xff0c;总共大约有240万个模型参数。

根据Qp的不同&＃xff0c;总共训练四个模型&＃xff1a;{20-27, 28-32, 33-37, 38-45}

在训练过程中&＃xff0c;首先将加载的帧裁剪成128x128的大小&＃xff0c;以增加数据的多样性&＃xff0c;同时降低复杂度。batch大小被设置为32&＃xff0c;模型训练大约384000次迭代。使用Adam优化器&＃xff0c;learning rate设置为0.0001

实验

在VTM9.3中SAO和ALF之间加入训练好的NNLF&＃xff0c;基于帧级QP选择模型&＃xff0c;整个帧都会进行滤波&＃xff0c;每一个CTU存在一个flag控制是否使用滤波后的像素。

JVET-U0055

在JVET-U0054中&＃xff0c;提出了一种基于神经网络的环路内滤波器&＃xff08;NNLF&＃xff0c;neural network based in-loop filter&＃xff09;方案。为了进一步提高编码性能&＃xff0c;本文提出了一种用于NNLF的多密度网络&＃xff08;MDN&＃xff0c;multi-density network &＃xff09;。NNLF位于Deblock和SAO之间&＃xff0c;执行CTU级信令。

对于进行NN滤波前的重建帧&＃xff0c;如果原始颜色平面大小不同&＃xff0c;则首先对色度分量进行上采样&＃xff0c;将其转换为YUV444。直接复制相邻样本以简化上采样过程。在推断过程中&＃xff0c;仅保存每个2x2色度块的左上角样本。

下图展示了所提出的多密度网络的总体架构&＃xff0c;它包括三个部分&＃xff1a;预处理、密度学习density learning和后处理。核心设计在于多密度块(multi-density block)&＃xff0c;由一个基本分支和一个密度分支组成。基本分支包含一些残差块以全分辨率处理特征图。加入密度分支&＃xff0c;学习特征样本之间的密度相关性&＃xff0c;生成权重图。在密度分支中&＃xff0c;首先采用下采样层获得半分辨率表示。一个Resblock跟随&＃xff0c;然后一个上采样层被连接以生成与基本分支中的特征图大小相同的权重图。最后&＃xff0c;将密度分支的权值图与基本分支的特征图进行元素乘积融合。

下采样程序、上采样程序和Resblock的结构如下图所示。在下采样过程中&＃xff0c;采用步长为2的3x3卷积实现半下采样过程。在ReLU激活之后&＃xff0c;进一步应用1x1卷积层和激活函数来增强非线性学习能力。在上采样过程中&＃xff0c;采用像素Shuffle扩展空间分辨率&＃xff0c;再进行ReLU激活。在上采样层还增加了1x1卷积&＃xff1b;然后&＃xff0c;在激活步骤中采用sigmoid函数来生成介于0和1之间的密度表示。我们实现中Resblock的结构如图2-&＃xff08;c&＃xff09;所示&＃xff0c;它包含两个卷积层和旁路映射。

训练

严格遵循JVET-T2006中规定的训练条件。在BVI-DVC中随机选取200个序列&＃xff0c;采用RA配置的VTM10.0进行编码。每个选定的序列用4个输入qp&＃xff08;22、27、32、37、42&＃xff09;编码5次。然后将重建图像转换成YUV444格式&＃xff0c;并根据帧级QP{&＃xff08;min-34、35-40、41-46、47 max&＃xff09;}将其分为四个子集。对于每一个子集&＃xff0c;将训练一个模型&＃xff0c;详细信息总结在下表中。 

实验结果

JVET-V0074

本文提出了一种新的SDAN&＃xff08;Separate density attention network &＃xff09;&＃xff0c;以在模型性能和复杂性之间实现更好的折衷。该模型总共只有100万个参数&＃xff0c;与JVET-U0055[1]中的MDN相比&＃xff0c;参数减少了70%。

提出的网络总体架构如下图1所示。网络包括主分支、一个密度分支和三个注意力分支&＃xff0c;如图2所示。主分支由26个块组成&＃xff0c;在特征提取和处理中起着关键作用。密度分支由一个下采样块、三个resblock和一个上采样块组成&＃xff0c;旨在利用不同采样密度下的多尺度特征。在注意力分支方面&＃xff0c;采用空间注意机制来降低复杂度。具体地&＃xff0c;首先应用通道方向的下采样&＃xff0c;然后再进行空间方向的下采样。在达到目标较小分辨率后&＃xff0c;进一步采用空间向上采样&＃xff0c;最后利用sigmoid函数生成权重图。将权重图融合到主分支和密度分支的特征图上&＃xff0c;对特征进行软加权。更多的设计原则和细节可以参考论文&＃xff1a;Z. Wang, C.Y. Ma, R.-L. Liao, Y. Ye, Multi-Density Convolutional Neural Network for In-Loop Filter in Video Coding, DCC 2021.

数据集为BVI-DVC&＃xff0c;严格遵循JVET-T2006中规定的训练条件。根据帧QP&＃xff08;0-31、32-36、37-41、42-46、47 max&＃xff09;分别训练5个模型。在推理过程中&＃xff0c;首先通过直接复制相邻样本将要送入网络的重建帧转换为YUV444格式。对于输出&＃xff0c;只保存每个2x2色度块的左上角样本。基于神经网络的环路滤波位于Deblock和SAO之间。

对于网络的输出帧&＃xff0c;将进一步发出帧级比例因子和CTU级开/关标志。缩放过程为&＃xff1a;

PNN和Prec分别是网络的输出和输入。

实验结果