北邮计算机视觉3
RocheL
Apr 26, 2022
Last edited: 2022-8-11
type
Post
status
Published
date
Apr 26, 2022
slug
BUPT-cv3
summary
北邮计算机视觉课程视频笔记（三），主要内容是尺度不变blob检测（sift）和图像纹理表示
tags
engineer
category
技术分享
icon
password
Property
Aug 7, 2022 12:52 AM
URL
北邮计算机视觉课程视频笔记（三），主要内容是尺度不变blob检测（sift）和图像纹理表示
CH6.Blob detection
Harris角点不具有尺度不变性，故提出一个具有尺度不变性的特征Blob detection，以此为基础的SIFT也应用广泛理想状态如图，两圆中内容一致，具有尺度不变性。下面的是理想的检测器响应函数。
拉普拉斯核
边缘检测中我们使用高斯一阶导判定极值
引入高斯二阶导(拉普拉斯核Laplacian)，判定过0点也可以
与高斯核类似，拉普拉斯核也只有一个参数σ，且从下图中可以观察到，当σ与尺度一致时，会有最值响应， 这称为尺度选择特性
- Spatial selection: the magnitude of the Laplacian response will achieve a maximum at the center of the blob, provided the scale of the Laplacian is “matched” to the scale of the blob
所以我们的思路是扔一堆不同σ的拉普拉斯核上去卷，取最大响应的对应就可以了
随着σ增大，响应信号会衰减，以至于无法看出最值，所以还需要进行补偿，高斯偏导补偿（响应乘上），拉普拉斯核补偿
实际中图像与的对应关系如图
实际中，对一个点做不同σ的卷积，观察响应结果，看某个σ及其较大较小值，决定是否保留这个σ； 同时类似于非最大化抑制，该点还要与相邻像素比较响应最大值再输出
常用手段是 1）Harris+Laplace 减少待检测像素数量 2）SIFT
SIFT
主要是拉普拉斯核太慢了，DOG（高斯差分）模板提供的公式可以将拉普拉斯核化成两个高斯核之差，而高斯核的特性使得我们不用直接算的大核，用和即可
构建高斯金字塔
先分组(组数)再分层(组内可供极值点检测的DOG层数s)，由于极值点检测需要上下DOG层的存在，所以DOG是层，DOG由高斯差分得到，所以高斯是层，层间按照上述高斯特性计算，这是数量关系
系数，主要考虑到如下图所示，，带入可以得到DOG层第一组σ系数为，第二组系数则从开始，有连续关系。同时，对原图做高斯相当于降采样到一半做高斯，也即对于不同的组，我的高斯卷积核组不变，改变图像尺寸反复用这个高斯核组就能得到左边的各个高斯层的组。有时，高斯部分（左半边）第二组的2σ层（第一层）也由第一组的倒数第三层直接降采样得到，这是一个普遍规律。参考知乎，zddhub的博客。
sift后续操作
解决视角带来的问题
右图视角发生变化，如果用一个纯粹的圆，圆内状态很明显是不一样的，改用一个恰当的椭圆就可以解决该问题。具体方法如下，对区域内所有点计算Harris的矩阵，得区域内信号对应的椭圆，保留变换快的方向，收缩变化慢的方向，不停迭代，得到所求椭圆。
圆内图像的角度问题
需要一个旋转，采用基于梯度方向的方法。对区域内每个像素的梯度方向做直方图，找到最大柱子对应角度，例如每一等分，一共8根直方图，最高的对应，则对应图像旋转类似归零，两图都这么做就近似对准了。
光照和局部细节问题
如图采用SIFT描述符，把一个圆等分份，对每一份求一个梯度直方图描述细节的相对关系（解决光照），还是一分，所以一个区域内用如图所示的8指针来代表一个区域，最后全部拉直得到一个区域数16×直方图8=128的描述符，对比描述符即可。
SIFT的Invariance & covariance
都具有
CH7.Texture(纹理)
Importance to perception:
- Often indicative of a material’s properties
- Can be important appearance cue, especially if shape is similar across objects
- Aim to distinguish between shape, boundaries, and texture
Technically:
- Representation-wise, we want a feature one step above “building blocks” of filters, edges.
纹理也是一种局部特征（pattern），所以任务就是发现和描述
对各个滑窗运用x方向和y方向高斯偏导核，用均值标识纹理特征，在特征空间聚类，就完成了纹理的发现和分类（聚类时考虑类间类内那一套）。
也不一定要用偏导核，任何滤波器也行，尺寸是通过不断尝试缩放直到特征指标稳定得到的。实际中用d个滤波器得到d维描述符。
上课和PPT也讲了协方差和多维高斯的数学描述，可以看一下。 就这些
- Catalog
- About
0%