Python计算机视觉——SIFT描述⼦
⽬录
1 SIFT描述⼦
1.1SIFT描述⼦简介
SIFT,即尺度不变特征变换(Scale-invariant feature transform,SIFT),是⽤于图像处理领域的⼀种描述。这种描述具有尺度不变性,可在图像中检测出关键点,是⼀种局部特征描述⼦。
1.2 SIFT算法实现步骤简述
SIFT算法实现特征匹配主要有三个流程,1、提取关键点;2、对关键点附加 详细的信息(局部特征),即描述符;3、通过特征点(附带上特征向量的关 键点)的两两⽐较找出相互匹配的若⼲对特征点,建⽴景物间的对应关系。
1.3 SIFT算法可以解决的问题
1 ⽬标的旋转、缩放、平移(RST)
2 图像仿射/投影变换(视点viewpoint)
3 弱光照影响(illumination)欧美歌曲
4 部分⽬标遮挡(occlusion)
5 杂物场景(clutter)
6 噪声
2 关键点检测
2.1SIFT要查找的关键点
是⼀些⼗分突出的点不会因光照、尺度、旋转等因素的改变⽽消失,⽐如⾓点、边缘点、暗区域的亮点以及亮区域的暗点。既然两幅图像中有相同的景物,那么使⽤某种⽅法分别提取各⾃的稳定点,这些点之间会有相互对应的匹配点。
2.2关键点检测的相关概念雪下的时候
2.2.1尺度空间
细致的反义词
主要思想是通过 对原始图像进⾏尺度变换,获得图像多尺度下的空间表⽰。从⽽实现边缘、⾓点检测和不同分辨率上的特征提取,以满⾜特征点的尺度不变性。
尺度空间中各尺度图像的 模糊程度逐渐变⼤,能够模拟⼈在距离⽬标由近到远时⽬标在视⽹膜上的形成过程尺度越⼤图像越模糊。
2.2.2⾼斯模糊
⾼斯模糊是在Adobe Photoshop等图像处理软件中⼴泛使⽤的处理 效果,通常⽤它来减⼩图像噪声以及降低细节层次。这种模糊技术⽣成的图像的视觉效果是好像经过⼀个半透明的屏幕观察图像。可以⽤⾼斯模糊来处理图像,得到图像的边缘信息与整体信息。
2.2.3⾼斯⾦⼦塔
⾼斯⾦⼦塔的构建过程可分为两步:
(1)对图像做⾼斯平滑;
(2)对图像做降采样。
欧美怀旧歌曲为了让尺度体现其连续性,在简单
下采样的基础上加上了⾼斯滤波。
⼀幅图像可以产⽣⼏组(octave)
图像,⼀组图像包括⼏层
(interval)图像。
2.3关键点检测——DOG
DoG(Difference of Gaussian)函数
DoG在计算上只需相邻⾼斯平滑后图像相减,因此简化了计算!
DOG局部极值检测
特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点, 每⼀个像素点要和它所有的相邻点⽐较,看其是否⽐它的图像域和尺度域 的相邻点⼤或者⼩
2.4关键点⽅向分配
通过尺度不变性求极值点,可以使其具有缩放不变的性质。⽽利 ⽤关键点邻域像素的梯度⽅向分布特性,可以为每个关键点指定⽅向参数⽅向,从⽽使描述⼦对图像旋转具有不变性。纪念屈原
通过求每个极值点的梯度来为极值点赋予⽅向。
像素点的梯度表⽰
梯度幅值:
梯度⽅向:
2.5关键点匹配
关键点的匹配可以采⽤穷举法来完成,但是这样耗费的时间太多,⼀ 般都采⽤kd树的数据结构来完成搜索。搜索的内容是以⽬标图像的关键点为基准,搜索与⽬标图像的特征点最邻近的原图像特征点和次邻 近的原图像特征点。Kd树是⼀个平衡⼆叉树
2.6代码实现
2.6.1关键点检测
# -*- coding: utf-8 -*-读书类作文
from PIL import Image
from pylab import*
from PCV.localdescriptors import sift
仔的组词
from PCV.localdescriptors import harris
# 添加中⽂字体⽀持那一抹色彩
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\", size=14)
imname ='E:/picture/02/2.png'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname,'empire.sift')
l1, d1 = ad_features_from_file('empire.sift')
figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=Fal)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'⽤圆圈表⽰SIFT特征尺度',fontproperties=font)
# 检测harris⾓点
harrisim = pute_harris_respon(im)
subplot(133)
filtered_coords = _harris_points(harrisim,6,0.1)
imshow(im)
plot([p[1]for p in filtered_coords],[p[0]for p in filtered_coords],'+c') axis('off')
title(u'Harris⾓点',fontproperties=font)
show()
2.6.2 描述⼦匹配