Python图像识别,图片相似度计算!

1.背景

要识别两张图片是否相似&＃xff0c;首先我们可能会区分这两张图是人物照&＃xff0c;还是风景照等......对应的风景照是蓝天还是大海......做一系列的分类。

从机器学习的的角度来说&＃xff0c;首先要提取图片的特征&＃xff0c;将这些特征进行分类处理&＃xff0c;训练并建立模型&＃xff0c;然后在进行识别。

但是让计算机去区分这些图片分别是哪一类是很不容易的&＃xff0c;不过计算机可以知道图像的像素值的&＃xff0c;因此&＃xff0c;在图像识别过程中&＃xff0c;通过颜色特征来识别是相似图片是我们常用的&＃xff08;当然还有其特征还有纹理特征、形状特征和空间关系特征等&＃xff0c;这些有分为直方图&＃xff0c;颜色集&＃xff0c;颜色局&＃xff0c;聚合向量&＃xff0c;相关图等来计算颜色特征&＃xff09;&＃xff0c;

Python资源共享群&＃xff1a;626017123

为了得到两张相似的图片&＃xff0c;在这里通过以下几种简单的计算方式来计算图片的相似度&＃xff1a;

• 直方图计算图片的相似度
• 通过哈希值&＃xff0c;汉明距离计算
• 通过图片的余弦距离计算
• 通过图片结构度量计算

一、直方图计算图片的相似度

上三张图片&＃xff0c;分别是img1.png, img2.jpg,img.png&＃xff1a;

可以看出上面这三张图是挺相似的&＃xff0c;在颜色上是差不多的&＃xff0c;最相似的是哪两张大家可以猜猜看&＃xff0c;看和我们计算的是否一样。

在python中利用opencv中的calcHist()方法获取其直方图数据&＃xff0c;返回的结果是一个列表&＃xff1a;

# 计算图img1的直方图
H1 &＃61; cv2.calcHist([img1], [1], None, [256], [0, 256])
H1 &＃61; cv2.normalize(H1, H1, 0, 1, cv2.NORM_MINMAX, -1) # 对图片进行归一化处理

先计算img1的直方图&＃xff0c;在对其归一化&＃xff0c;最后在分别对img2,img3计算&＃xff0c;做归一化&＃xff0c;然后在利用python自带的compareHist()进行相似度的比较&＃xff1a;

利用compareHist&＃xff08;&＃xff09;进行比较相似度
similarity1 &＃61; cv2.compareHist(H1, H2, 0)

最后得到三张图片的直方图如下&＃xff1a;

图像的x轴是指的图片的0~255之间的像素变化&＃xff0c;y轴指的是在这0~255像素所占的比列。

我们可以明显的看出img2与img3的直方图的变化趋势是相符的有重合态的&＃xff0c;运行结果如下&＃xff1a;

通过运行结果知道img2和img3是值是最为相似的&＃xff08;代码calcImage.py&＃xff09;

上面的是直接调用opencv中的方法来实现的&＃xff0c;下面还有自己写的方法&＃xff1a;

首先是将图片转化为RGB格式&＃xff0c;在这里是用的pillow中的Image来对图片做处理的&＃xff1a;

# 将图片转化为RGB
def make_regalur_image(img, size&＃61;(64, 64)):gray_image &＃61; img.resize(size).convert(&＃39;RGB&＃39;)return gray_image

在计算两图片的直方图&＃xff1a;

# 计算直方图
def hist_similar(lh, rh):assert len(lh) &＃61;&＃61; len(rh)hist &＃61; sum(1 - (0 if l &＃61;&＃61; r else float(abs(l - r)) / max(l, r)) for l, r in zip(lh, rh)) / len(lh)return hist

在计算其相似度:

# 计算相似度
def calc_similar(li, ri):calc_sim &＃61; hist_similar(li.histogram(), ri.histogram())return calc_sim

得到最终的运行结果&＃xff1a;

两种方法的的结果还是有点差距的&＃xff0c;可以看到img1和img3的结果相似度高些。

不过两者的相似度计算方法如下&＃xff1a;

gi和si分别指的是两条曲线的第i个点。

总结&＃xff1a;

利用直方图计算图片的相似度时&＃xff0c;是按照颜色的全局分布情况来看待的&＃xff0c;无法对局部的色彩进行分析&＃xff0c;同一张图片如果转化成为灰度图时&＃xff0c;在计算其直方图时差距就更大了。

为了解决这个问题&＃xff0c;可以将图片进行等分&＃xff0c;然后在计算图片的相似度。不过在这里我就不叙述了&＃xff0c;大家自行探讨&＃xff01;&＃xff01;&＃xff01;

二、哈希算法计算图片的相似度

在计算之前我们先了解一下图像指纹和汉明距离&＃xff1a;

图像指纹&＃xff1a;

   图像指纹和人的指纹一样&＃xff0c;是身份的象征&＃xff0c;而图像指纹简单点来讲&＃xff0c;就是将图像按照一定的哈希算法&＃xff0c;经过运算后得出的一组二进制数字。

汉明距离&＃xff1a;

    假如一组二进制数据为101&＃xff0c;另外一组为111&＃xff0c;那么显然把第一组的第二位数据0改成1就可以变成第二组数据111&＃xff0c;所以两组数据的汉明距离就为1。简单点说&＃xff0c;汉明距离就是一组二进制数据变成另一组数据所需的步骤数&＃xff0c;显然&＃xff0c;这个数值可以衡量两张图片的差异&＃xff0c;汉明距离越小&＃xff0c;则代表相似度越高。汉明距离为0&＃xff0c;即代表两张图片完全一样。

感知哈希算法是一类算法的总称&＃xff0c;包括aHash、pHash、dHash。顾名思义&＃xff0c;感知哈希不是以严格的方式计算Hash值&＃xff0c;而是以更加相对的方式计算哈希值&＃xff0c;因为“相似”与否&＃xff0c;就是一种相对的判定。

几种hash值的比较&＃xff1a;

• aHash&＃xff1a;平均值哈希。速度比较快&＃xff0c;但是常常不太精确。
• pHash&＃xff1a;感知哈希。精确度比较高&＃xff0c;但是速度方面较差一些。
• dHash&＃xff1a;差异值哈希。精确度较高&＃xff0c;且速度也非常快

1. 平均哈希算法&＃xff08;aHash&＃xff09;&＃xff1a;

该算法是基于比较灰度图每个像素与平均值来实现。

aHash的hanming距离步骤&＃xff1a;

• 先将图片压缩成8*8的小图
• 将图片转化为灰度图
• 计算图片的Hash值&＃xff0c;这里的hash值是64位&＃xff0c;或者是32位01字符串
• 将上面的hash值转换为16位的
• 通过hash值来计算汉明距离
•  

# 均值哈希算法
def ahash(image):# 将图片缩放为8*8的image &＃61; cv2.resize(image, (8, 8), interpolation&＃61;cv2.INTER_CUBIC)# 将图片转化为灰度图gray &＃61; cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)# s为像素和初始灰度值&＃xff0c;hash_str为哈希值初始值s &＃61; 0# 遍历像素累加和for i in range(8):for j in range(8):s &＃61; s &＃43; gray[i, j]# 计算像素平均值avg &＃61; s / 64# 灰度大于平均值为1相反为0&＃xff0c;得到图片的平均哈希值&＃xff0c;此时得到的hash值为64位的01字符串ahash_str &＃61; &＃39;&＃39;for i in range(8):for j in range(8):if gray[i, j] > avg:ahash_str &＃61; ahash_str &＃43; &＃39;1&＃39;else:ahash_str &＃61; ahash_str &＃43; &＃39;0&＃39;result &＃61; &＃39;&＃39;for i in range(0, 64, 4):result &＃43;&＃61; &＃39;&＃39;.join(&＃39;%x&＃39; % int(ahash_str[i: i &＃43; 4], 2))# print("ahash值&＃xff1a;",result)return result

2.感知哈希算法&＃xff08;pHash&＃xff09;&＃xff1a;

均值哈希虽然简单&＃xff0c;但是受均值影响大。如果对图像进行伽马校正或者进行直方图均值化都会影响均值&＃xff0c;从而影响哈希值的计算。所以就有人提出更健壮的方法&＃xff0c;通过离散余弦&＃xff08;DCT&＃xff09;进行低频提取。

离散余弦变换&＃xff08;DCT&＃xff09;是种图像压缩算法&＃xff0c;它将图像从像素域变换到频率域。然后一般图像都存在很多冗余和相关性的&＃xff0c;所以转换到频率域之后&＃xff0c;只有很少的一部分频率分量的系数才不为0&＃xff0c;大部分系数都为0&＃xff08;或者说接近于0&＃xff09;。

pHash的计算步骤&＃xff1a;

• 缩小图片&＃xff1a;32 * 32是一个较好的大小&＃xff0c;这样方便DCT计算转化为灰度图
• 计算DCT&＃xff1a;利用Opencv中提供的dct()方法&＃xff0c;注意输入的图像必须是32位浮点型&＃xff0c;所以先利用numpy中的float32进行转换
• 缩小DCT&＃xff1a;DCT计算后的矩阵是32 * 32&＃xff0c;保留左上角的8 * 8&＃xff0c;这些代表的图片的最低频率
• 计算平均值&＃xff1a;计算缩小DCT后的所有像素点的平均值。
• 进一步减小DCT&＃xff1a;大于平均值记录为1&＃xff0c;反之记录为0.
• 得到信息指纹&＃xff1a;组合64个信息位&＃xff0c;顺序随意保持一致性。
• 最后比对两张图片的指纹&＃xff0c;获得汉明距离即可。
•  

# phash
def phash(path):# 加载并调整图片为32*32的灰度图片img &＃61; cv2.imread(path)img1 &＃61; cv2.resize(img, (32, 32),cv2.COLOR_RGB2GRAY)# 创建二维列表h, w &＃61; img.shape[:2]vis0 &＃61; np.zeros((h, w), np.float32)vis0[:h, :w] &＃61; img1# DCT二维变换# 离散余弦变换&＃xff0c;得到dct系数矩阵img_dct &＃61; cv2.dct(cv2.dct(vis0))img_dct.resize(8,8)# 把list变成一维listimg_list &＃61; np.array().flatten(img_dct.tolist())# 计算均值img_mean &＃61; cv2.mean(img_list)avg_list &＃61; [&＃39;0&＃39; if i

3. 差异值哈希算法&＃xff08;dHash&＃xff09;&＃xff1a;

相比pHash&＃xff0c;dHash的速度要快的多&＃xff0c;相比aHash&＃xff0c;dHash在效率几乎相同的情况下的效果要更好&＃xff0c;它是基于渐变实现的。

dHash的hanming距离步骤&＃xff1a;

• 先将图片压缩成9*8的小图&＃xff0c;有72个像素点
• 将图片转化为灰度图
• 计算差异值&＃xff1a;dHash算法工作在相邻像素之间&＃xff0c;这样每行9个像素之间产生了8个不同的差异&＃xff0c;一共8行&＃xff0c;则产生了64个差异值&＃xff0c;或者是32位01字符串。
• 获得指纹&＃xff1a;如果左边的像素比右边的更亮&＃xff0c;则记录为1&＃xff0c;否则为0.
• 通过hash值来计算汉明距离
•  

# 差异值哈希算法
def dhash(image):# 将图片转化为8*8image &＃61; cv2.resize(image, (9, 8), interpolation&＃61;cv2.INTER_CUBIC)# 将图片转化为灰度图gray &＃61; cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)dhash_str &＃61; &＃39;&＃39;for i in range(8):for j in range(8):if gray[i, j] > gray[i, j &＃43; 1]:dhash_str &＃61; dhash_str &＃43; &＃39;1&＃39;else:dhash_str &＃61; dhash_str &＃43; &＃39;0&＃39;result &＃61; &＃39;&＃39;for i in range(0, 64, 4):result &＃43;&＃61; &＃39;&＃39;.join(&＃39;%x&＃39; % int(dhash_str[i: i &＃43; 4], 2))# print("dhash值",result)return result

4. 计算哈希值差异

# 计算两个哈希值之间的差异
def campHash(hash1, hash2):n &＃61; 0# hash长度不同返回-1,此时不能比较if len(hash1) !&＃61; len(hash2):return -1# 如果hash长度相同遍历长度for i in range(len(hash1)):if hash1[i] !&＃61; hash2[i]:n &＃61; n &＃43; 1return n

最终的运行结果&＃xff1a;

aHash:

dhash&＃xff1a;

p_hsah:

通过上面运行的结果可以看出来&＃xff0c;img1和img2的相似度高一些。

三、余弦相似度(cosin)

    把图片表示成一个向量&＃xff0c;通过计算向量之间的余弦距离来表征两张图片的相似度。

1. 对图片进行归一化处理

# 对图片进行统一化处理
def get_thum(image, size&＃61;(64, 64), greyscale&＃61;False):# 利用image对图像大小重新设置, Image.ANTIALIAS为高质量的image &＃61; image.resize(size, Image.ANTIALIAS)if greyscale:# 将图片转换为L模式&＃xff0c;其为灰度图&＃xff0c;其每个像素用8个bit表示image &＃61; image.convert(&＃39;L&＃39;)return image

2. 计算余弦距离

# 计算图片的余弦距离
def image_similarity_vectors_via_numpy(image1, image2):image1 &＃61; get_thum(image1)image2 &＃61; get_thum(image2)images &＃61; [image1, image2]vectors &＃61; []norms &＃61; []for image in images:vector &＃61; []for pixel_tuple in image.getdata():vector.append(average(pixel_tuple))vectors.append(vector)# linalg&＃61;linear&＃xff08;线性&＃xff09;&＃43;algebra&＃xff08;代数&＃xff09;&＃xff0c;norm则表示范数# 求图片的范数&＃xff1f;&＃xff1f;norms.append(linalg.norm(vector, 2))a, b &＃61; vectorsa_norm, b_norm &＃61; norms# dot返回的是点积&＃xff0c;对二维数组&＃xff08;矩阵&＃xff09;进行计算res &＃61; dot(a / a_norm, b / b_norm)return res

最终运行结果&＃xff1a;

结果显示img1和img2的相似度高一些&＃xff0c;和计算hash值的汉明距离得到的结果是相一致的。

四、图片SSIM(结构相似度量)

   SSIM是一种全参考的图像质量评价指标&＃xff0c;分别从亮度、对比度、结构三个方面度量图像相似性。SSIM取值范围[0, 1]&＃xff0c;值越大&＃xff0c;表示图像失真越小。在实际应用中&＃xff0c;可以利用滑动窗将图像分块&＃xff0c;令分块总数为N&＃xff0c;考虑到窗口形状对分块的影响&＃xff0c;采用高斯加权计算每一窗口的均值、方差以及协方差&＃xff0c;然后计算对应块的结构相似度SSIM&＃xff0c;最后将平均值作为两图像的结构相似性度量&＃xff0c;即平均结构相似性SSIM。

ssim1 &＃61; compare_ssim(img1, img2, multichannel&＃61;True)

这个是scikit-image库自带的一种计算方法

运行结果&＃xff1a;

可以看到img1和img2的相似度高。

好了&＃xff0c;以上就是到目前为止我接触到的图片相似度的计算方法&＃xff0c;肯定还有许多我没有接触到的计算方法&＃xff0c;大家有需要的可以参考一下&＃xff0c;有其他方法的大家可以留言一起探讨&＃xff01;&＃xff01;&＃xff01;