python计算机视觉基于BOW模型的图像检索

1.BOW模型

BOW其实是Bag of words的缩写&＃xff0c;也叫做词袋。BOW模型最早出现在自然语言处理和文本检索领域。该模型忽略掉文本的语法、语序等要素&＃xff0c;吧文档看做若干词汇的集合&＃xff0c;文档中的单词是独立出现的&＃xff0c;使用一组无序的单词&＃xff08;words&＃xff09;表达一个文档&＃xff0c;根据文档中单词的统计信息完成对文本的分类。

比如&＃xff0c;有如下两个文档&＃xff1a;

1&＃xff1a;Bob likes to play basketball, Jim likes too.2&＃xff1a;Bob also likes to play football games.


根据这两个文档&＃xff0c;我们可以构造一个词典&＃xff1a;

Dictionary &＃61; {1:”Bob”, 2. “like”, 3. “to”, 4. “play”, 5. “basketball”, 6. “also”, 7. “football”, 8. “games”, 9. “Jim”, 10. “too”}。


这个词典中包含10个不同的单词&＃xff0c;利用单词的索引号&＃xff0c;我们可以将上面的每个文档都用一个10维向量表示&＃xff08;用0~n表示某个单词在文档中出现的次数&＃xff0c;其中n为正整数&＃xff09;&＃xff1a;

1&＃xff1a;[1, 2, 1, 1, 1, 0, 0, 0, 1, 1]2&＃xff1a;[1, 1, 1, 1 ,0, 1, 1, 1, 0, 0]


该向量的维度是单词的个数&＃xff0c;值是每个单词在文本中出现的频率。以上的向量也可以用单词的直方图表示&＃xff0c;词表相当于直方图的基&＃xff0c;要表述的是文档向这个基上映射。

并非所有的单词都用来构建词表&＃xff0c;相似的单词用一个单词表示。例如“walk, walking,walks” 都用 “walk” 表示。一个单词如果在所有文档中出现&＃xff0c;比如is&＃xff0c;a&＃xff0c;an等词&＃xff0c;那么个单词其实对区分文档就没有那么重要了。反之&＃xff0c;如果一个单词只在一个文档值出现&＃xff0c;那么只要输入的文档有这个单词&＃xff0c;那么一定是属于这个单词所在的文档&＃xff0c;就是唯一的&＃xff0c;这对于区分文档非常重要。单词对区分文档的重要性通过计算单词TF-IDF&＃xff08;term frequency–inverse document frequency&＃xff0c; 词频-逆向文档频率&＃xff09;实现。

单词w在文档d中出现的词频是&＃xff1a;

n_w是单词w在文档d中出现的次数。为了归一化&＃xff0c;将n_w除以整个文档中单词的总数。

逆向文档频率为&＃xff1a;

|D|是在语料库D中的文档数目&＃xff0c;分母是语料库中包含单词w在文档数d
就是单词w的TF-IDF权重了&＃xff0c;用这个来表示单词对区分文档的重要性。因为有时候the、a这种的就很不重要。

BOW模型用于文本分类包括词表的建立、样本训练、新来样本识别三个步骤。

2.基于BOW的图像检索

对于两张图片&＃xff0c;我们可以利用sift算法来进行特征匹配。但是面对大规模图像特征匹配&＃xff0c;我们不可能一个个特征匹配&＃xff0c;因为这样计算量是在过于庞大。比如&＃xff0c;25000张图像约有310亿个图相对&＃xff0c;即使每个图匹配只需要两秒&＃xff0c;也需要500台并行计算机工作一年才可以完成&＃xff0c;所以我们不能使用这种一个个特征匹配的暴力匹配法&＃xff0c;需要寻找其他更快速有效的方法。

我们发现&＃xff0c;面对大场景数据集&＃xff0c;其实只有少于0.1%的图像具有匹配关系&＃xff0c;所以我们可用图像整体特征实现匹配/检索&＃xff0c;而非局部特征点。所以&＃xff0c;我们找到那个快速有效的方法——BOW模型。将BOW模型应用于图像领域&＃xff0c;即把图像视为与位置无关的局部特征集合&＃xff0c;局部特征就相当于文本中的单词&＃xff0c;称为“视觉单词”&＃xff0c;视觉单词的集合称为“视觉词典”&＃xff08;也叫码本&＃xff09;。

图像检索的基本流程是&＃xff1a;

①特征提取&＃xff08;SIFT算法&＃xff09;

②学习“视觉词典&＃xff08;visual vocabulary&＃xff09;”&＃xff08;k-means算法&＃xff09;

③针对输入的特征集&＃xff0c;根据视觉词典进行量化

④把输入图像转化成视觉单词&＃xff08;visual words&＃xff09;的频率直方图

⑤构造特征到图像的倒排表&＃xff0c;通过倒排表快速索引相关图像

⑥根据索引结果进行直方图匹配

2.1.用SIFT算法进行特征提取

特征提取就是从图像中提取出关键点&＃xff08;或特征点、角点&＃xff09;等&＃xff0c;我们在这里采用的SIFT算法。SIFT算法用来侦测与描述影像中的局部特征&＃xff0c;它在空间尺度中寻找极值点&＃xff0c;并提取出其位置、尺度、旋转不变量。此算法由David Lowe 在1999 年所发表&＃xff0c;2004 年完善总结。SIFT 算法的实质是在不同的尺度空间上查找关键点( 特征点)&＃xff0c;并计算出关键点的方向。SIFT 所查找到的关键点是一些十分突出&＃xff0c;不会因光照&＃xff0c;仿射变换和噪音等因素而变化的点&＃xff0c;如角点、边缘点、暗区的亮点及亮区的暗点等。SIFT 算法在构建好的尺度空间的基础上搜索尺度空间中的极值点( 特征点)&＃xff0c;然后确定极值点的尺度信息以及位置&＃xff0c;再确定极值点的方向( 其邻域梯度的主方向)&＃xff0c;最终可以得到具有鲁棒性的128 维(448) 的特征向量。
利用SIFT算法提取出训练图片的示意图如下&＃xff1a;


举个例子&＃xff0c;假如现在有3 张训练图片&＃xff1a;人脸、自行车、小提琴&＃xff0c;如下图所示&＃xff1a;

对每一张训练图片都提取SIFT 的128 维特征&＃xff0c;那么最终可以得到 M &＃61; N1&＃43;N2&＃43;N3 个128 维的特征&＃xff0c;Ni 代表第i 张图特征点的个数&＃xff0c;如下图所示&＃xff1a;

2.2用K-means得出视觉词典

前面已经说过了&＃xff0c;面对大场景数据集&＃xff0c;只凭特征匹配&＃xff0c;由于计算时间过长&＃xff0c;是不可能实现图像检索的。所以我们想到了将相似的特征向量聚到一起&＃xff0c;用一个视觉单词来表示这些特征&＃xff0c;就像文本中用“walk”来表示“walk, walking,walks” 一样。我们采用的算法是K-means算法。

k-means算法是一种基于样本间相似性度量的间接聚类方法&＃xff0c;属于非监督学习方法。

输入&＃xff1a;聚类个数k&＃xff0c;图像的特征集合。输出&＃xff1a;满足方差最小标准的k个聚类。


k-means算法的流程示意图如下&＃xff1a;

k-means算法是实现视觉词典&＃xff08;码本&＃xff09;的关键&＃xff0c;我们将K-means 算法获取的聚类中心作为视觉单词&＃xff08;码本向量&＃xff09;。当训练集准备足够充分是&＃xff0c;训练出的码本将具有普适性。

需要注意的是如何选择视觉词典/码本的规模&＃xff0c;太少会出现视觉单词无法覆盖所有可能出现的情况&＃xff1b;太多又会计算量大&＃xff0c;容易过拟合。

就之前的例子而言就是将下述这特征向量进行聚类&＃xff0c;将之前的特征向量转化为4个视觉单词&＃xff0c;以此来作为视觉词典。

2.3.针对输入的特征集&＃xff0c;根据视觉词典进行量化

对于文本而言&＃xff0c;当一个单词在所有文本都出现那么这个单词就不能区分文本。同理&＃xff0c;如果一个视觉单词在每个图像中都出现&＃xff0c;那么这个视觉单词就不能区分图像了。类比文本&＃xff0c;我们这里也采用TF-IDF权重来表示视觉单词对区分图像的重要程度。

2.4.把输入图像转化成视觉单词&＃xff08;visual words&＃xff09;的频率直方图

统计词表中每个单词在图像中出现的次数&＃xff0c;将图像表示为K 维数值向量。上例中&＃xff0c;可以将图像表示成为一个K&＃61;4 维数值向量&＃xff1a;

人脸&＃xff1a;[3,30,3,20]

自行车&＃xff1a;[20,3,3,2]

小提琴&＃xff1a;[8,12,32,7]
每幅图的视觉单词与词频直方图如图下图所示&＃xff1a;

2.5.构造特征到图像的倒排表&＃xff0c;通过倒排表快速索引相关图像

前几步是通过图像来提取视觉单词&＃xff0c;用视觉单词的词频直方图来表示图像&＃xff0c;是通过图像映射视觉单词。而倒排表是通过视觉单词映射图像。

比如&＃xff0c;对于下述两个文本而言&＃xff1a;

1&＃xff1a;Bob likes to play basketball, Jim likes too.2&＃xff1a;Bob also likes to play football games.


之前是&＃xff1a;

1&＃xff1a;[ “Jim”, “too”]2&＃xff1a;[“also”, “football”, “games”,]


经过倒排后是&＃xff1a;

“Jim”&＃xff1a;[1]“too”&＃xff1a;[1]“also”&＃xff1a;[2]“football”&＃xff1a;[2]“games”&＃xff1a;[2]


对于图像来说&＃xff0c;经过倒排后&＃xff0c;就是视觉单词&＃xff1a;[视觉单词所出现的图像集合]。倒排表可以快速使用反转文件来计算新图像与数据库中所有图像之间的相似性&＃xff0c;仅考虑其分档与查询图像重叠的数据库图像&＃xff0c;大大减少了匹配次数&＃xff0c;优化了算法。

2.6.根据索引结果进行直方图匹配

根据索引结果建立直方图&＃xff0c;就可以得出最后的匹配结果了。

1.特征提取和学习“视觉词典”

import pickle
from PCV.imagesearch import vocabulary
from PCV.tools.imtools import get_imlist
from PCV.localdescriptors import sift# 获取图像列表
imlist &＃61; get_imlist(&＃39;datasets/&＃39;)
nbr_images &＃61; len(imlist)
# 获取特征列表
featlist &＃61; [imlist[i][:-3] &＃43; &＃39;sift&＃39; for i in range(nbr_images)]# 提取文件夹下图像的sift特征
for i in range(nbr_images):sift.process_image(imlist[i], featlist[i])# 生成词汇
voc &＃61; vocabulary.Vocabulary(&＃39;ukbenchtest&＃39;)
voc.train(featlist, 122, 10)# 保存词汇
with open(&＃39;BOW/vocabulary.pkl&＃39;, &＃39;wb&＃39;) as f:pickle.dump(voc, f)
print(&＃39;vocabulary is:&＃39;, voc.name, voc.nbr_words)

运行结果&＃xff1a;

生成对应的sift文件&＃xff1a;

构造词典&＃xff1a;

2.创建索引&＃xff0c;建立数据库

import pickle
from PCV.imagesearch import imagesearch
from PCV.localdescriptors import sift
from sqlite3 import dbapi2 as sqlite
from PCV.tools.imtools import get_imlist# 获取图像列表
imlist &＃61; get_imlist(&＃39;datasets/&＃39;)
nbr_images &＃61; len(imlist)
# 获取特征列表
featlist &＃61; [imlist[i][:-3] &＃43; &＃39;sift&＃39; for i in range(nbr_images)]# 载入词汇
with open(&＃39;BOW/vocabulary.pkl&＃39;, &＃39;rb&＃39;) as f:voc &＃61; pickle.load(f)# 创建索引
indx &＃61; imagesearch.Indexer(&＃39;testImaAdd.db&＃39;, voc) # 在Indexer这个类中创建表、索引&＃xff0c;将图像数据写入数据库
indx.create_tables() # 创建表# 遍历所有的图像&＃xff0c;并将它们的特征投影到词汇上
for i in range(nbr_images)[:888]:locs, descr &＃61; sift.read_features_from_file(featlist[i])indx.add_to_index(imlist[i], descr) # 使用add_to_index获取带有特征描述子的图像&＃xff0c;投影到词汇上# 将图像的单词直方图编码存储# 提交到数据库
indx.db_commit()con &＃61; sqlite.connect(&＃39;testImaAdd.db&＃39;)
print(con.execute(&＃39;select count (filename) from imlist&＃39;).fetchone())
print(con.execute(&＃39;select * from imlist&＃39;).fetchone())

运行结果&＃xff1a;
生成数据库&＃xff1a;

3 利用索引在数据库中搜索图像

import pickle
from PCV.geometry import homography
from PCV.imagesearch import imagesearch
from PCV.tools.imtools import get_imlist
from PCV.localdescriptors import sift# 载入图像列表
# imlist &＃61; get_imlist(&＃39;test/&＃39;)
imlist &＃61; get_imlist(&＃39;datasets/&＃39;)
nbr_images &＃61; len(imlist)# 载入特征列表
featlist &＃61; [imlist[i][:-3] &＃43; &＃39;sift&＃39; for i in range(nbr_images)]
# print(imlist)
# print(featlist)# # 提取文件夹下图像的sift特征
# for i in range(nbr_images):
# sift.process_image(imlist[i], featlist[i])# 载入词汇
with open(&＃39;BOW/vocabulary.pkl&＃39;, &＃39;rb&＃39;) as f:voc &＃61; pickle.load(f)# Searcher类读入图像的单词直方图执行查询
src &＃61; imagesearch.Searcher(&＃39;testImaAdd.db&＃39;, voc)
# print(src)# 查询图像索引和查询返回的图像数
q_ind &＃61; 6
nbr_results &＃61; 5# 常规查询(按欧式距离对结果排序)
res &＃61; [w[1] for w in src.query(imlist[q_ind])[:nbr_results]]
imagesearch.plot_results(src,res)

这里我们用常规查询和优化查询进行对比。

实验结果

测试1&＃xff1a;

测试2&＃xff1a;


测试3&＃xff1a;


测试4&＃xff1a;

总结

从上面的测试结果来看&＃xff0c;检索出的图片相似度还算挺高的&＃xff0c;一般会匹配出轮廓或者颜色相近的图片。在图像特征比较明显&＃xff0c;或者数据集中图片相似的很多(同一个物品不同角度的拍摄)&＃xff0c;则图像的匹配效果越好。
  但如果图像比较复杂或者没有明显的特点的话&＃xff0c;就不能提取到比较重要的特征点&＃xff0c;从而影响检索的效果。
  (以上是在用在原本数据集的基础上进行的检索测试&＃xff0c;用数据集以外的图片测试还存在问题&＃xff0c;暂时没有解决。)

sift harris

全景拼接

相机标定

bow

图像分割