自动驾驶之夜间检测调研

第一个 公开 特定的提供 natural low-light images for object的数据集

7363张 low-light images,
12 classes

Low-light image enhancement:

• IVC database. general image enhancement而非特指low-light. 黑夜是人工合成的,可以找到原图像
• See-in-the-Dark dataset (SID)&＃xff1a; 5094个短曝光(low-light)图像对应到424张长曝光图像(bright)
• LOw light paired dataset (LOL): 500对图像

都含有一对图&＃xff01;&＃xff01;&＃xff01;
但是 SID和LOL都不能展示真实的夜晚灯光环境.
为了保证图像能对应上,使用特定相机并且不含有动态目标(例如cars,people等).

Low-light denoising
是low-light enhancement的一个子集, 但是这些图都是人工合成的&＃xff0c;加入Poisson或者Gaussian噪声到合成的黑夜图像中.

Low-light surveillance
热相机和红外相机一般在夜晚监控中使用. 主要集中在人脸识别、行人检测。
数据集有OTCVBS,LSI和LDHF.

ExDark数据集

对low-light condition进行细划分, 例如一天中的黄昏(twilight)还是夜晚(nighttime),位置(indoor,outdoor)、光源可见度、光源类型(太阳、人造光).

• 12类别: Bicycle, Boat, Bottle, Bus, Car, Cat, Chair, Cup, Dog, Motorbike, People, and Table.

• 数据收集&＃xff1a;网上下载&＃xff0c;关键词(dark, low-light,nighttime); 公开数据集(PADCAL VOC, ImageNet和COCO);电影中提取;手动拍摄

• 标注: 手动标注
  

• 十种灯光类型:

  
  
  • Low: 光线最暗&＃xff0c;几乎看不清细节
  • Ambient: 灯光weak, 光源没有捕捉进来
  • Object: 目标较亮但是周围环境很暗&＃xff0c;光源没有捕捉进来
  • Single: 只能看到一个光源
  • Weak: multiple visible但是weak光源
  • Strong:multiple visible但是相对亮的光源
  • Screen: 户内图像&＃xff0c;可见亮的屏幕
  • Window: 户内图像,以窗户为亮光源.
  • Shadow:户外图像&＃xff0c;户外光源&＃xff0c;目标在阴影处
  • Twilight:户外&＃xff0c;黄昏. 黎明到太阳升起; 微暗到太阳落下.
    
    

• 传统方法:

  
  
  • Histogram Equalization-based methods
  • Retinex model-based methods: 例如将一张图解耦为一个reflection部分和一个illumination部分, reflection部分即为增强的结果.
    缺点: 多光源时会丢失细节和颜色;噪声被忽略了;找到这样一个prior或regularization比较困难;运行时间长.

• DL方法:更高精度、更加鲁棒、速度更好

  
  
  • 方法包括:监督学习、强化学习、无监督学习、Zero-shot learning和半监督学习.
    

学习策略

• 监督学习&＃xff1a;分为end-to-end, deep
  Retinex-based 和realistic data-driven methods.
  

  • end-to-end: LLNet, MBLLEN,EEMEFN,LPNet,DSLR,

  • Retinex-based: 利用物理可解释的Retinex理论.
    将illuminance部分和reflectance部分分开增强. 例如Retinex-Net&＃xff0c;lightweight LightenNet&＃xff0c;而DeepUPE学习从Image到illumination的映射;KinD,KinD&＃43;&＃43;

  • 数据集: SID, DIV(视频),SMOID(视频),SIDGAN(视频)

• 强化学习&＃xff1a;DeepExposure&＃xff0c;即首先根据曝光切分为sub-image, 局部曝光是强化学习学到的&＃xff0c;奖惩函数类似于对抗学习. 再将局部曝光修整图像&＃xff0c;获取不同曝光下的图像.
• 无监督学习: 有监督的学习受限于泛化能力. 无监督学习EnligthenGAN,采用一个attention-guided U-Net作为生成器&＃xff0c;使用global-local discriminators来使得增强结果跟自然光线相似.
• Zero-Shot Learning&＃xff1a;直接从test data中学习增强,例如ExCNet, 首先拟合测试集一个最优的S曲线&＃xff0c;然后根据S曲线,使用Guided filter划分为base layer和datail layer, 根据S曲线调整base layer,最后使用Weber contrast来融合detailed layer和调整后的base layer.&＃xff1b;还有RRDNet,将图像分为illumination, reflectance和noise&＃xff1b; RetinexDIP使用NN进行Retinex分解&＃xff0c;然后增强low-light image; Zero-DCE/zero-DCE&＃43;&＃43;将光线增强视为一个image-specific curve estimation&＃xff0c;输入一个low-light图像输出一个伪high-order曲线.
• Semi-Supervised Learning&＃xff1a;DRBN&＃xff0c;首先恢复一个linear band representation,以监督的方式&＃xff0c;然后通过无监督学习到的linear transformation进行增强.

网络技巧

• 网络结构: 常见U-Net, pyramid network和multi-stage network.
• Deep Model和Retinex Theory结合.
  
  

• 损失函数:

  
  
  • Reconstruction Loss(重构损失): L2倾向于乘法较大的错误&＃xff0c;但是对较小错误容忍度高&＃xff1b;L1损失保留颜色和luminance较好但是忽略了局部结构;SSIM保留了结构和纹理
  • Perceptual Loss: 和gt在feature map空间中的相似度. 特征提取网络为从一个在ImageNet训练的VGG16.
  • Smoothness Loss:移除结果中的噪音或保留相邻像素点的关系
  • 对抗损失:生成的图被辨别的损失
  • Exposure Loss: 不需要匹配的图&＃xff0c;直接衡量曝光度的损失
  • 训练集:
    

  LOL: 500对 低光照和正常光照的图
  SCIE: 589个户内/户外的场景,每个场景有3-18个不同曝光的图&＃xff0c;因此有4413个多曝光的图. 选取589张高质量的图.分辨率在3000x2000和6000x4000
  MIT-Adobe FiveK: 5000张图
  SID&＃xff1a;5094张短曝光的图,每个有个对应的长曝光的图
  VE-LOL&＃xff1a;2500对&＃xff0c;1000对是合成的&＃xff0c;1500对是真实的
  DRV&＃xff1a;202个原始的视频&＃xff0c;每个对应一段长曝光的gt. 16-18fps/ 3672x5496
  SMOID&＃xff1a;179对序列&＃xff0c;每个200帧

  
  
  • 测试集&＃xff1a;
    BBD-100K&＃xff1a;视频&＃xff0c;10000个视频&＃xff0c;使用在晚上拍的用来做测试集
    ExDARK:
    DARK FACE: 6,000张晚上拍的人脸

• 作者提出新的数据集: LLIV-Phone,120视频&＃xff0c;45,148个图像&＃xff0c;18张手机类型,

结果展示

方法对比

在1080ti上测速&＃xff0c;输入1200x900x3,32张求平均