Deep Learning of Binary Hash Codes for Fast Image Retrieval

• [Paper]
• [Code-Caffe]

1. 摘要

• 针对图像检索问题&＃xff0c;提出简单有效的监督学习框架
• CNN网络结构能同时学习图像特征表示以及 hash-like 编码函数集合
• 利用深度学习以逐点(point-wise)的方式&＃xff0c;得到二值哈希编码(binary hash codes)&＃xff0c;以快速检索图像&＃xff1b;对比卷积pair-wised方法&＃xff0c;在数据大小上具好的扩展性.
• 论文思想&＃xff0c;当数据标签可用时&＃xff0c;可以利用隐层来学习能够表示图像类别标签的潜在语义的二值编码

2. 方法

Figure 1: 基于分层深度搜索的图像检索框架.

方法主要包括三部分&＃xff1a;

• Module1 - 在ImageNet上有监督地预训练CNN网络&＃xff0c;以学习得到丰富的mid-level图像表示特征&＃xff1b;
• Module2 - 添加隐层(latent) 网络层&＃xff0c;通过在目标图像数据集finetuning网络&＃xff0c;该隐层可以学习得到图像的 hashes-like 编码表示&＃xff1b;
• Module3 - 利用 hashes-like 二值编码和 F7 层特征&＃xff0c;采用 coarse-to-fine 策略检索相似图片.

2.1 Hash-like 二值编码学习

假设网络的最终输出分类层 F8F8 依赖于 hh 个hidden attributes，各属性是 0 或 1(0表示不存在，1表示存在). 如果图像的二值激活编码相似，其应该具有相同标签.

如Figure 1所示，这里在 F7" role="presentation">F7$F7$ 和 F8F8 层间嵌入一个隐层 HH.

• 该隐层H" role="presentation">H$H$ 是一个全连接层&＃xff0c;其神经元激活情况由后面的 F8F8 层来控制&＃xff0c;F8F8层编码了图像语义并用于最终分类.
  
  
  • 该隐层HH 不仅提供了F7" role="presentation">F7$F7$层丰富特征的抽象表示&＃xff0c;还联系着 mid-level 特征和 high-level 语义.
  • 该隐层HH采用的是Sigmoid函数，以使激活值在 {0, 1} 之间.
  
  

  为了适应数据集，在目标数据集 fine-tune CNN网络.

  
  
  • 初始权重设为ImageNet数据集预训练的CNN权重;
  
  
  • 隐层H" role="presentation">H$H$和最终分类层F8F8的权重采用随机初始化.

  • 无需对深度CNN模型修改太多&＃xff0c;即可同时学习得到图像的视觉特征描述子&＃xff0c;和 hashing-like 函数&＃xff0c;以进行有效的图像检索.

    
    

    2.2 基于分层深度搜索的图像检索

    采用 coarse-to-fine 搜索策略进行快速精确的图像检索.

    
    
    • 首先&＃xff0c;检索得到相似 high-level 语义特征的候选图片集&＃xff0c;即&＃xff0c;具有隐层得到隐含二值激活值想死;
    • 然后&＃xff0c;进一步过滤具有相似外表的图片&＃xff0c;主要是基于最深的 mid-level 图像特征表示进行相似性排名.
    
    

    2.2.1 Coarse-level 搜索

    给定图像 II, 首先提取隐层输出作为图像特征，记为 Out(H)" role="presentation">Out(H)$Out(H)$. 通过设定阈值&＃xff0c;即可以得到其二值编码. 即&＃xff0c;对于二值激活的每一个字节j&＃61;1,2,...,hj&＃61;1,2,...,h (hh为隐层的节点数)， H" role="presentation">H$H$的输出二值编码&＃xff1a;

    Hj&＃61;1,if Outj(H)≥0.5;otherwise Hj&＃61;0Hj&＃61;1,ifOutj(H)≥0.5;otherwiseHj&＃61;0

    记 Γ&＃61;I1,I2,...,InΓ&＃61;I1,I2,...,In 表示用于检索的 nn张图片组成数据集，其每张图片对应的二值编码记为&＃x0393;H=H1,H2,...,Hn" role="presentation">ΓH=H1,H2,...,Hn${\mathrm{\Gamma }}_H=H_1,H_2,...,H_n$ , 其中 Hi∈{0,1}hHi∈{0,1}h.

    给定待查询图片 IqIq 及其二值编码 HqHq, 如果 HqHq 和 Hi∈ΓHHi∈ΓH 的Hamming 距离小于阈值&＃xff0c;得到一个有 mm 张候选图片的图片池，P={I1c,I2c,...,Imc}" role="presentation">P={Ic1,Ic2,...,Icm}$P=\{I_1^c,I_2^c,...,I_m^c\}$.

    
    

    2.2.2 Fine-level 检索

    给定待查询图片 IqIq 及候选图片池 P&＃61;{Ic1,Ic2,...,Icm}P&＃61;{I1c,I2c,...,Imc}&＃xff0c;采用 F7F7 层提取的图片特征来从候选图片池 PP 中确认前 k" role="presentation">k$k$ 张图片.

    记 VqVq 和 VPiViP 分别表示待查询图片 qq 和图片池中候选图片 Iic" role="presentation">Ici$I_i^c$ 的特征向量&＃xff0c;则其欧氏距离相似性计算为&＃xff1a;

    si&＃61;||Vq−VPi||si&＃61;||Vq−ViP||

    如果欧氏距离越大&＃xff0c;则两张图片的相似性越强. 通过对候选图片进行排序&＃xff0c;即可得到最终的检索图片.

    
    

    3. 实验结果

    
    

    3.1 数据集

    
    

    • MNIST Dataset - 10类手写数字&＃xff0c;0~9&＃xff0c;共 60000张训练图片&＃xff0c;10000测试图片&＃xff0c;每张数字图片都归一化为 28×2828×28 的灰度图片.

    • CIFAR-10 Dataset - 10类物体&＃xff0c;每一类有 6000 张图片&＃xff0c;一种60000张图片&＃xff0c;其中50000张作训练&＃xff0c;10000张作测试.

    • Yahoo-1M Dataset - 一共1124087张商品图片&＃xff0c;116类服装类别&＃xff0c;如 TOP&＃xff0c;Dress&＃xff0c;Skirt等. 如Figure2.
      

    
    

    3.2 检索结果