数字图像处理（55）
局部特征系列：
&--------------------------------------------------------------
SIFT/SURF为了实现不同图像中相同场景的匹配，主要包括三个步骤：
1、尺度空间的建立；
2、特征点的提取；
3、利用特征点周围邻域的信息生成特征描述子
4、特征点匹配。
& & & & 从博客上看到一片文章，，这一段的大部分内容源于这篇文章，推荐大家去看看。
& & & & 如果两幅图像中的物体一般只是旋转和缩放的关系，加上图像的亮度及对比度的不同，要在这些条件下要实现物体之间的匹配，SIFT的先驱及其发明者想到只要找到多于三对物体间的匹配点就可以通过射影几何的理论建立它们的一一对应。
& & & & 如何找到这样的匹配点呢？SIFT/SURF作者的想法是首先找到图像中的一些“稳定点”，这些点是一些特殊的点，不会因为视角的改变、光照的变化、噪音的干扰而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。这样如果两幅图像中有相同的景物，那么这些稳定点就会在两幅图像的相同景物上同时出现，这样就能实现匹配。因此，SIFT/SURF算法的基础是稳定点。
& & & & SIFT/SURF提取的稳定点，首先都要求是局部极值。但是，当两个物体的大小比例不一样时，大图像的局部极值点在小图像的对应位置上有可能不是极值点。于是SIFT/SURF都采用图像金字塔的方法，每一个截面与原图像相似，这样两个金字塔中就有可能包含大小最近似的两个截面了。
& & & & 这样找到的特征点会比较多，经过一些处理后滤掉一些相对不稳定的点。
& & & & 接下来如何去匹配相同物体上对应的点呢？SIFT/SURF的作者都想到以特征点为中心，在周围邻域内统计特征，将特征附加到稳定点上，生成特征描述子。在遇到旋转的情况下，作者们都决定找出一个主方向，然后以这个方向为参考坐标进行后面的特征统计，就解决了旋转的问题。
共同的大问题有以下几个：
1、为什么选用高斯金字塔来作特征提取？
& & & 为什么是DOG的金字塔？因为它接近LOG，而LOG的极值点提供了最稳定的特征，而且DOG方便计算（只要做减法。）
& & & 为什么LOG的极值点提供的特征最稳定，有参考文献，未看。
&&&& (7.12补充：)直观理解：特征明显的点经过不同尺度的高斯滤波器进行滤波后，差别较大，所以用到的是DOG。
& & & 但是直观上怎么理解？如果相邻Octave的sigma不是两倍关系还好理解：如果两幅图像只是缩放的关系，那么假设第一个Octave找到了小一倍图像的极值点，那么大一倍图像的极值点会在下一个Octave找到相似的。但是现在，如果把大一倍图像进行一次下采样（这样和小的图像就完全一样了），进行Gauss滤波时，两个图像滤波系数（sigma）是不一样的，不就找不到一样的极值点了么？不理解。
2、Hessian矩阵为什么能用来筛选极值点？
& & & SIFT先利用非极大抑制，再用到Hessian矩阵进行滤除。SURF先用Hessian矩阵，再进行非极大抑制。SURF的顺序可以加快筛选速度么？（Hessian矩阵滤除的点更多？）
& & & 至于SURF先用Hessian矩阵，再进行非极大抑制的原因，是不管先极大值抑制还是判断Hessian矩阵的行列式，金字塔上的点的行列式都是要计算出来的。先判断是否大于0只要进行1次判断，而判断是否是极大值点或者极小值点要与周围26个点比较，只比较1次肯定快。
& & & 而在SIFT中，构建的高斯金字塔只有一座（不想SURF是有3座），要进行非极大抑制可以直接用金字塔的结果进行比较。而如果计算Hessian矩阵的行列式，还要再计算Dxx、Dxy、Dyy。因此先进行非极大抑制。这两个步骤的先后与SIFT/SURF的实际计算情况有关的，都是当前算法下的最佳顺序，而不是说哪种先计算一定更好。
3、为什么采用梯度特征作为局部不变特征？
& & & 这与人的视觉神经相关。采用梯度作为描述子的原因是，人的视觉皮层上的神经元对特定方向和空间频率的梯度相应很敏感，经过SIFT作者的一些实验验证，用梯度的方法进行匹配效果很好。
4、为什么可以采用某些特征点的局部不变特征进行整幅图像的匹配？
& & & 我在一份博客上找到这样一句话：（，大家可以看看这篇文章。）
从直观的人类视觉印象来看，人类视觉对物体的描述也是局部化的，基于局部不变特征的图像识别方法十分接近于人类视觉机理，通过局部化的特征组合，形成对目标物体的整体印象，这就为局部不变特征提取方法提供了生物学上的解释，因此局部不变特征也得到了广泛应用。
& & & 还有：
& & & 图像中的每个局部区域的重要性和影响范围并非同等重要，即特征不是同等显著的，其主要理论来源是Marr的计算机视觉理论和Treisman的特征整合理论，一般也称为“原子论”。该理论认为视觉的过程开始于对物体的特征性质和简单组成部分的分析，是从局部性质到大范围性质。
& & & SIFT/SURF都是对特征点的局部区域的描述，这些特征点应该是影响重要的点，对这些点的分析更加重要。所以在局部不变特征的提取和描述时也遵循与人眼视觉注意选择原理相类似的机制，所以SIFT/SURF用于匹配有效果。
不同点的比较：
从博客上看到一个总结，我修改了一些内容。大家可以参看以下链接：
DOG与不同尺度的图片卷积
不同尺度的box filters与原图片卷积
特征点检测
先进行非极大抑制，再去除低对比度的点。再通过Hessian矩阵去除边缘的点
先利用Hessian矩阵确定候选点，然后进行非极大抑制
在正方形区域内统计梯度的幅值的直方图，找max对应的方向。可以有多个方向。
在圆形区域内，计算各个扇形范围内x、y方向的haar小波响应，找模最大的扇形方向
特征描述子
16*16的采样点划分为4*4的区域，计算每个区域的采样点的梯度方向和幅值，统计成8bin直方图，一共4*4*8=128维
（ note： 不一定要是16&× 16，区域也可以不用是 4&× 4）
20*20s的区域划分为4*4的子区域，每个子区域找5*5个采样点，计算采样点的haar小波响应，记录∑dx,∑dy,∑|dx|,∑|dy|，一共4*4*4=64维
& & & & SURF—金字塔仅仅是用来做特征点的检测。在计算描述子的时候，haar小波响应是计算在原图像（利用积分图）。而SIFT是计算在高斯金字塔上（注意不是高斯差分金字塔。）
性能的比较：
& & & & 论文：A comparison of SIFT, PCA-SIFT and SURF&对三种方法给出了性能上的比较，源图片来源于Graffiti dataset，对原图像进行尺度、旋转、模糊、亮度变化、仿射变换等变化后，再与原图像进行匹配，统计匹配的效果。效果以可重复出现性为评价指标。
& & & & 比较的结果如下：
Illumination
& & & & 由此可见，SIFT在尺度和旋转变换的情况下效果最好，SURF在亮度变化下匹配效果最好，在模糊方面优于SIFT，而尺度和旋转的变化不及SIFT，旋转不变上比SIFT差很多。速度上看，SURF是SIFT速度的3倍。
-----------------------------------
jiang1st2010
原文地址：
SURF是SIFT算法的加速版，opencv的SURF算法在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理，其快速的基础实际上只有一个——积分图像haar求导，对于它们其他方面的不同可以参考本blog的另外一篇关于SIFT的文章。
&&& 不论科研还是应用上都希望可以和人类的视觉一样通过程序自动找出两幅图像里面相同的景物，并且建立它们之间的对应，前几年才被提出的SIFT（尺度不变特征）算法提供了一种解决方法，通过这个算法可以使得满足一定条件下两幅图像中相同景物的某些点（后面提到的关键点）可以匹配起来，为什么不是每一点都匹配呢？下面的论述将会提到。
&&&& SIFT算法实现物体识别主要有三大工序，1、提取关键点；2、对关键点附加详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。
&&&&& 日常的应用中，多数情况是给出一幅包含物体的参考图像，然后在另外一幅同样含有该物体的图像中实现它们的匹配。两幅图像中的物体一般只是旋转和缩放的关系，加上图像的亮度及对比度的不同，这些就是最常见的情形。基于这些条件下要实现物体之间的匹配，SIFT算法的先驱及其发明者想到只要找到多于三对物体间的匹配点就可以通过射影几何的理论建立它们的一一对应。首先在形状上物体既有旋转又有缩小放大的变化，如何找到这样的对应点呢？于是他们的想法是首先找到图像中的一些“稳定点”，这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点，正是基于这样合理的假设，SIFT算法的基础是稳定点。SIFT算法找稳定点的方法是找灰度图的局部最值，由于数字图像是离散的，想求导和求最值这些操作都是使用滤波器，而滤波器是有尺寸大小的，使用同一尺寸的滤波器对两幅包含有不同尺寸的同一物体的图像求局部最值将有可能出现一方求得最值而另一方却没有的情况，但是容易知道假如物体的尺寸都一致的话它们的局部最值将会相同。SIFT的精妙之处在于采用图像金字塔的方法解决这一问题，我们可以把两幅图像想象成是连续的，分别以它们作为底面作四棱锥，就像金字塔，那么每一个截面与原图像相似，那么两个金字塔中必然会有包含大小一致的物体的无穷个截面，但应用只能是离散的，所以我们只能构造有限层，层数越多当然越好，但处理时间会相应增加，层数太少不行，因为向下采样的截面中可能找不到尺寸大小一致的两个物体的图像。有了图像金字塔就可以对每一层求出局部最值，但是这样的稳定点数目将会十分可观，所以需要使用某种方法抑制去除一部分点，但又使得同一尺度下的稳定点得以保存。有了稳定点之后如何去让程序明白它们之间是物体的同一位置？研究者想到以该点为中心挖出一小块区域，然后找出区域内的某些特征，让这些特征附件在稳定点上，SIFT的又一个精妙之处在于稳定点附加上特征向量之后就像一个根系发达的树根一样牢牢的抓住它的“土地”，使之成为更稳固的特征点，但是问题又来了，遇到旋转的情况怎么办？发明者的解决方法是找一个“主方向”然后以它看齐，就可以知道两个物体的旋转夹角了。下面就讨论一下SIFT算法的缺陷。
&&&&& SIFT/SURT采用henssian矩阵获取图像局部最值还是十分稳定的，但是在求主方向阶段太过于依赖局部区域像素的梯度方向，有可能使得找到的主方向不准确，后面的特征向量提取以及匹配都严重依赖于主方向，即使不大偏差角度也可以造成后面特征匹配的放大误差，从而匹配不成功；另外图像金字塔的层取得不足够紧密也会使得尺度有误差，后面的特征向量提取同样依赖相应的尺度，发明者在这个问题上的折中解决方法是取适量的层然后进行插值。SIFT是一种只利用到灰度性质的算法，忽略了色彩信息，后面又出现了几种据说比SIFT更稳定的描述器其中一些利用到了色彩信息，让我们拭目以待。
&&&&& 最后要提一下，我们知道同样的景物在不同的照片中可能出现不同的形状、大小、角度、亮度，甚至扭曲；计算机视觉的知识表明通过光学镜头获取的图像，对于平面形状的两个物体它们之间可以建立射影对应，对于像人脸这种曲面物体在不同角度距离不同相机参数下获取的两幅图像，它们之间不是一个线性对应关系，就是说我们即使获得两张图像中的脸上若干匹配好的点对，还是无法从中推导出其他点的对应。

参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：449766次
积分：6572
积分：6572
排名：第2394名
原创：210篇
转载：182篇
评论：50条
(7)(63)(23)(8)(1)(4)(4)(13)(15)(1)(1)(3)(2)(1)(9)(5)(1)(7)(5)(2)(1)(1)(4)(4)(1)(8)(3)(5)(6)(2)(2)(1)(8)(1)(1)(2)(21)(31)(10)(29)(21)(8)(42)(1)250775人阅读
Computer Vision（101）
SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下：算法描述SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。整个算法分为以下几个部分：1.&构建尺度空间这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：其中 G(x,y,σ)&是尺度可变高斯函数&（x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。下图所示不同σ下图像尺度空间：关于尺度空间的理解说明：2kσ中的2是必须的，尺度空间是连续的。在 &Lowe的论文中 ，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以 Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。&图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。尺度空间的所有取值，i为octave的塔数（第几个塔），s为每塔层数由图片size决定建几个塔，每塔几层图像(S一般为3-5层)。0塔的第0层是原始图像(或你double后的图像)，往上每一层是对其下一层进行Laplacian变换（高斯卷积，其中σ值渐大，例如可以是σ, k*σ, k*k*σ…），直观上看来越往上图片越模糊。塔间的图片是降采样关系，例如1塔的第0层可以由0塔的第3层down sample得到，然后进行与0塔类似的高斯卷积操作。2.&LoG近似DoG找到关键点&检测DOG尺度空间极值点&为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点,如图所示。同一组中的相邻尺度（由于k的取值关系，肯定是上下层）之间进行寻找s=3的情况&在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性（下面有详解），我们在每一组图像的顶层继续用高斯模糊生成了&3 幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像.==========================================这里有的童鞋不理解什么叫“为了满足尺度变化的连续性”，现在做仔细阐述：假设s=3，也就是每个塔里有3层，则k=21/s=21/3，那么按照上图可得Gauss Space和DoG space 分别有3个（s个）和2个（s-1个）分量，在DoG space中，1st-octave两项分别是σ,kσ; 2nd-octave两项分别是2σ,2kσ;由于无法比较极值，我们必须在高斯空间继续添加高斯模糊项，使得形成σ,kσ,k2σ,k3σ,k4σ这样就可以选择DoG space中的中间三项kσ,k2σ,k3σ（只有左右都有才能有极值），那么下一octave中（由上一层降采样获得）所得三项即为2kσ,2k2σ,2k3σ，其首项2kσ=24/3。刚好与上一octave末项k3σ=23/3尺度变化连续起来，所以每次要在Gaussian space添加3项，每组（塔）共S+3层图像，相应的DoG金字塔有S+2层图像。==========================================使用Laplacian of Gaussian能够很好地找到找到图像中的兴趣点，但是需要大量的计算量，所以使用Difference of Gaussian图像的极大极小值近似寻找特征点.DOG算子计算简单，是尺度归一化的LoG算子的近似,有关DOG寻找特征点的介绍及方法详见，极值点检测用的Non-Maximal Suppression。3.&除去不好的特征点这一步本质上要去掉DoG局部曲率非常不对称的像素。通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力，在这里使用近似Harris Corner检测器。①空间尺度函数泰勒展开式如下：，对上式求导,并令其为0,得到精确的位置, 得②在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。去除低对比度的点：把公式(2)代入公式(1)，即在DoG Space的极值点处D(x)取值，只取前两项可得：若 &&，该特征点就保留下来，否则丢弃。③边缘响应的去除一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2 的Hessian矩阵H求出:导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令α为较大特征值，β为较小的特征值，则令α=γβ，则&(r + 1)2/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测if&(α+β)/&αβ& (r+1)2/r, throw it out. &&在Lowe的文章中，取r＝10。4.&给特征点赋值一个128维方向参数上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，&利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每个关键点有三个信息：位置，所处尺度、方向，由此可以确定一个SIFT特征区域。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距&&&&& 中心点越远的领域其对直方图的贡献也响应减小.Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱, 或者每10度一个柱，总共36个柱。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。直方图中的峰值就是主方向，其他的达到最大值80%的方向可作为辅助方向由梯度方向直方图确定主梯度方向该步中将建立所有scale中特征点的描述子（128维）Identify peak and assign orientation and sum of magnitude to key point.& The user may choose a threshold to exclude key points based on their&assigned sum of magnitudes.关键点描述子的生成步骤&通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。5. 关键点描述子的生成首先将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心取8×8的窗口。Figure.16*16的图中其中1/4的特征点梯度方向及scale，右图为其加权到8个主方向后的效果。图左部分的中央为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。计算keypoint周围的16*16的window中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。在每个4*4的1/16象限中，通过加权梯度值加到直方图8个方向区间中的一个，计算出一个梯度方向直方图。这样就可以对每个feature形成一个4*4*8=128维的描述子，每一维都可以表示4*4个格子中一个的scale/orientation.&将这个向量归一化之后，就进一步去除了光照的影响。5. 根据SIFT进行Match生成了A、B两幅图的描述子，（分别是k1*128维和k2*128维），就将两图中各个scale（所有scale）的描述子进行匹配，匹配上128维即可表示两个特征点match上了。实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。&当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法,距离比率ratio小于某个阈值的认为是正确匹配。因为对于错误匹配,由于特征空间的高维性,相似的距离可能有大量其他的错误匹配,从而它的ratio值比较高。Lowe推荐ratio的阈值为0.8。但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6之间最佳，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。(如果这个地方你要改进，最好给出一个匹配率和ration之间的关系图，这样才有说服力)作者建议ratio的取值原则如下:ratio=0. 4　对于准确度要求高的匹配；ratio=0. 6　对于匹配点数目要求比较多的匹配；&ratio=0. 5　一般情况下。也可按如下原则:当最近邻距离&200时ratio=0. 6，反之ratio=0. 4。ratio的取值策略能排分错误匹配点。当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。&实验结果：Python+opencv实现：import cv2
import numpy as np
#import pdb
#pdb.set_trace()#turn on the pdb prompt
#read image
img = cv2.imread('D:\privacy\picture\little girl.jpg',cv2.IMREAD_COLOR)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
cv2.imshow('origin',img);
detector = cv2.SIFT()
keypoints = detector.detect(gray,None)
img = cv2.drawKeypoints(gray,keypoints)
#img = cv2.drawKeypoints(gray,keypoints,flags = cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.imshow('test',img);
cv2.waitKey(0)
cv2.destroyAllWindows()C实现：// FeatureDetector.cpp : Defines the entry point for the console application.
Created by Rachel on 14-1-12.
Copyright (c) 2013年 ZJU. All rights reserved.
#include &stdafx.h&
#include &highgui.h&
#include &cv.h&
#include &vector&
#include &opencv\cxcore.hpp&
#include &iostream&
#include &opencv.hpp&
#include &nonfree.hpp&
#include &showhelper.h&
int _tmain(int argc, _TCHAR* argv[])
//Load Image
Mat c_src1 =
imread( &..\\Images\\3.jpg&);
Mat c_src2 = imread(&..\\Images\\4.jpg&);
Mat src1 = imread( &..\\Images\\3.jpg&, CV_LOAD_IMAGE_GRAYSCALE);
Mat src2 = imread( &..\\Images\\4.jpg&, CV_LOAD_IMAGE_GRAYSCALE);
if( !src1.data || !src2.data )
{ std::cout&& & --(!) Error reading images & && std:: return -1; }
//sift feature detect
SiftFeatureD
std::vector&KeyPoint& kp1, kp2;
detector.detect( src1, kp1 );
detector.detect( src2, kp2 );
SiftDescriptorE
Mat des1,des2;//descriptor
pute(src1,kp1,des1);
pute(src2,kp2,des2);
Mat res1,res2;
int drawmode = DrawMatchesFlags::DRAW_RICH_KEYPOINTS;
drawKeypoints(c_src1,kp1,res1,Scalar::all(-1),drawmode);//在内存中画出特征点
drawKeypoints(c_src2,kp2,res2,Scalar::all(-1),drawmode);
cout&&&size of description of Img1: &&&kp1.size()&&
cout&&&size of description of Img2: &&&kp2.size()&&
//write the size of features on picture
double hScale=1;
double vScale=1;
int lineWidth=2;// 相当于写字的线条
cvInitFont(&font,CV_FONT_HERSHEY_SIMPLEX|CV_FONT_ITALIC, hScale,vScale,0,lineWidth);//初始化字体，准备写到图片上的
// cvPoint 为起笔的x，y坐标
IplImage* transimg1 = cvCloneImage(&(IplImage) res1);
IplImage* transimg2 = cvCloneImage(&(IplImage) res2);
char str1[20],str2[20];
sprintf(str1,&%d&,kp1.size());
sprintf(str2,&%d&,kp2.size());
const char* str = str1;
cvPutText(transimg1,str1,cvPoint(280,230),&font,CV_RGB(255,0,0));//在图片中输出字符
str = str2;
cvPutText(transimg2,str2,cvPoint(280,230),&font,CV_RGB(255,0,0));//在图片中输出字符
//imshow(&Description 1&,res1);
cvShowImage(&descriptor1&,transimg1);
cvShowImage(&descriptor2&,transimg2);
BFMatcher matcher(NORM_L2);
vector&DMatch&
matcher.match(des1,des2,matches);
drawMatches(src1,kp1,src2,kp2,matches,img_match);//,Scalar::all(-1),Scalar::all(-1),vector&char&(),drawmode);
cout&&&number of matched points: &&&matches.size()&&
imshow(&matches&,img_match);
cvWaitKey();
cvDestroyAllWindows();
===============================基本概念及一些补充什么是局部特征？　　o局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方　　o局部特征通常是描述一块区域，使其能具有高可区分度　　o局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果&局部特征需具备的特性　　o重复性　　o可区分性　　o准确性　　o数量以及效率　　o不变性&局部特征提取算法-sift　　oSIFT算法由D.G.Lowe 1999年提出，2004年完善总结。后来Y.Ke将其描述子部分用PCA代替直方图的方式，对其进行改进。&　　oSIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量　　oSIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。　　o独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。　　o多量性，即使少数的几个物体也可以产生大量SIFT特征向量。　　o可扩展性，可以很方便的与其他形式的特征向量进行联合。尺度空间理论　　o尺度空间理论目的是模拟图像数据的多尺度特征　　o其基本思想是在视觉信息图像信息处理模型中引入一个被视为尺度的参数, 通过连续变化尺度参数获得不同尺度下的视觉处理信息, 然后综合这些信息以深入地挖掘图像的本质特征。描述子生成的细节　　o以极值点为中心点，并且以此点所处于的高斯尺度sigma值作为半径因子。对于远离中心点的梯度值降低对其所处区域的直方图的贡献，防止一些突变的影响。　　o每个极值点对其进行三线性插值，这样可以把此极值点的贡献均衡的分到直方图中相邻的柱子上归一化处理　　o在求出4*4*8的128维特征向量后，此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响。而图像的对比度变化相当于每个像素点乘上一个因子，光照变化是每个像素点加上一个值，但这些对图像归一化的梯度没有影响。因此将特征向量的长度归一化，则可以进一步去除光照变化的影响。　　o对于一些非线性的光照变化，SIFT并不具备不变性，但由于这类变化影响的主要是梯度的幅值变化，对梯度的方向影响较小，因此作者通过限制梯度幅值的值来减少这类变化造成的影响。PCA-SIFT算法　　oPCA-SIFT与标准SIFT有相同的亚像素位置，尺度和主方向。但在第4步计算描述子的设计，采用的主成分分析的技术。　　o下面介绍一下其特征描述子计算的部分：　　　　o用特征点周围的41×41的像斑计算它的主元，并用PCA-SIFT将原来的2×39×39维的向量降成20维，以达到更精确的表示方式。　　　　o它的主要步骤为，对每一个关键点：在关键点周围提取一个41×41的像斑于给定的尺度，旋转到它的主方向&；计算39×39水平和垂直的梯度，形成一个大小为3042的矢量；用预先计算好的投影矩阵n×3042与此矢量相乘；这样生成一个大小为n的PCA-SIFT描述子。===============================辅助资料：===============================Reference:Lowe SIFT 原文：http://www.cs.ubc.ca/~lowe/papers/ijcv04.pdfSIFT 的C实现：/robwhess/opensift/blob/master/srcMATLAB 应用Sift算子的模式识别方法：& (部分图片有误，以本文中的图片为准)关于computer vision的更多讨论与交流，敬请关注本博客和新浪微博。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：5454513次
积分：44905
积分：44905
排名：第49名
原创：482篇
转载：36篇
评论：4315条
百度深度学习实验室RD，关注计算机视觉，机器学习，算法研究，人工智能， 移动互联网等学科和产业，希望结识更多同道中人。
新浪微博：
(1)(1)(1)(4)(3)(1)(7)(7)(2)(1)(1)(9)(1)(1)(5)(2)(1)(3)(4)(6)(6)(5)(4)(1)(1)(1)(6)(1)(2)(7)(6)(7)(11)(20)(12)(23)(29)(37)(37)(6)(24)(6)(1)(1)(2)(2)(1)(7)(23)(20)(32)(17)(5)(22)(58)(8)(8)}