北邮计算机视觉2

type

Post

status

Published

date

Apr 23, 2022

slug

BUPT-cv2

summary

北邮计算机视觉课程视频笔记（二），主要内容是拟合（最小二乘、RANSAC、霍夫变换）与角点检测

CH4.fitting(least squares & RANSAC)

边缘等特征提取之后需要进行参数描述

需要解决的问题：Noise，Extraneous data（外点），Missing data（eg遮挡）

手段-目的Q&A

最小二乘least squares

学过，直接莽上去试着推一边发现遗漏了许多细节，看来以后基础的东西还是得多复习

基础推导

注意矩阵求导的方法，不记得了可以看这个，上述方法对竖直线不能拟合，即不具有旋转不变性，改用以下方法。 ### 改用与点线之间距离（权最小二乘） svd分解，特征值特征向量那一套，参考csdn和百度文库ppt ### 从极大似然估计角度来看 思想不一样，实际结果是一样的

Robust estimators(fitting)

简单来说就是改变求和中单纯的平方，调整参数使得拟合时对离谱的外点摆烂

RANSAC(Random sample consensus)(适用外点很多)

步骤：

选择估计所用的最小集合（例如估计一条直线需要取两个点）

用所取子集进行拟合

剩余的点按照误差对拟合结果投票

重复以上三步，设置迭代停止条件

需要设置距离类型选择、投票阈值、迭代停止次数

概率公式：

其中e是外点率，即真实情况下，取到的点不在理想拟合直线附近的概率，s是第一步中的取点个数，1 − (1 − e)s即为某一次迭代中，初始化取点取到外点以至于拟合直线不理想的概率，(1 − (1 − e)s)N即为整个拟合过程N次迭代都取到外点的概率，p为最终输出直线取到理想直线的置信度。

优点：简单；缺点：参数多

软分类（改进）：取最后投票给该直线的所有点做最小二乘（refine）得到最终输出直线

RANSAC其他用途

用RANSAC拟合上图所示仿射变换，最小集合即取左右三对点可以拟合（6个方程6个未知数），之后同上

The Hough transform（霍夫变换）

思想：

每个特征（像素）给所有有关的拟合结果投票

需要关注噪声投票的结果，不能使其极大输出

缺失部分数据不影响结果

首先进行图片空间到参数空间的映射，线到点，点到线（hough即在参数空间离散投票）

一个简单的例子，参数空间会把交点投出来，交点即对应图像空间拟合直线

无法表达与y轴平行的线，所以参数空间一般采用极坐标系

注意参数坐标系无法表示圆

噪声比例会使得真正的拟合线更难被投出来，进一步，还可能由噪声形成伪线。可以在参数空间使用离散化网格了来增强噪声鲁棒性，像素特征对网格进行投票；更改投票策略，投票时距离近的格子得分高，距离远的得分低（eg高斯）另外，可以降低转换时的外点率，可以先利用canny算子提取边缘剔除外点，对于边缘中的每个像素点，可以求得他的梯度方向，进一步取得他的“切线”，让该点只对切线对应参数空间格子投票

hough 变换处理圆和其他

对边缘上一点的梯度方向设定半径r取得圆心，r和圆心关系的参数空间满足右图，即该点对右图的红线投票

CH5.Corners(Harris角点)

角点是一种局部特征，在配准，对齐等领域中引入，已配准为例，我们希望角点有如下特征 - 可重复检出，两张图图像条件不一致，在一种图中检出的角点希望在另一张图对应位置也能检出 - 检出角点具有显著性，能与其他角点区分 - 计算快 - 仅与局部区域有关

角点检测最基本思路就是区域的方向移动（滑窗）会使得区域内的情况发生改变，如下图右侧所示

数学公式可以表示为

为输入，为当前滑窗中心坐标，为滑窗方向向量，为移动前后变化，为窗内所赋的权值（可以用01门函数、高斯函数等等）。角点需要得知移动前后变化大小，所以求一阶导（泰勒展开，矩阵论）

接下来讨论矩阵即可当是一个垂直或水平的边缘时，或其中一个为，矩阵一个特征值必然为（接近），不是角点即我的M矩阵需要满秩，且两个特征值都离较远在通常情况下，矩阵四个值都不为，此时需要分解（相似对角化）

即为旋转矩阵，越大，代表该方向变化越快，可以以一个椭圆表示出来，即让这个一般椭圆旋转为正椭圆，对应变化方向还需要结合R对应的偏转来看分类图：

可以统一于指标：

角点检测后，由于滑窗大小等因素，其实是一团一团的，与canny一样，需要非极大化抑制得到输出

特征工程中的不变性（Invariance covariance Scaling）

Invariance: image is transformed and corner locations do not change

即F(img) = F(T(img))，相同图像经过一定变换T（曝光，对比度，角度等），经过相同的检测器F能提取出相同的特征

Covariance: if we have two transformed versions of the same image, features should be detected in corresponding locations

一般很难做到Invariance，Covariance即F(T(img)) = T′(F(img))，图像变换前后的特征能通过变换T′形成一致

角点可以做到部分的Invariance不变性，例如所有像素经过一个ax + b的线性变换，部分角点仍能保持在门限上，但可能部分点变换后超过门限。平移旋转前后也可以做到Covariance。但如下图所示，不具有尺度不变性