新書推薦：
《
英国商业500年（见证大国崛起与企业兴衰，启迪未来商业智慧。）
》
售價：HK$
80.6
《
万千心理·儿童心理治疗中的心智化：临床实践指导
》
售價：HK$
87.4
《
自我囚禁的人：完美主义的心理成因与自我松绑（破除你对完美主义的迷思，尝试打破自我评价过低与焦虑的恶性循环）
》
售價：HK$
66.1
《
周易
》
售價：HK$
44.6
《
东南亚的传统与发展
》
售價：HK$
67.2
《
乾隆制造
》
售價：HK$
87.4
《
资治通鉴臣光曰辑存 资治通鉴目录（司马光全集）（全二册）
》
售價：HK$
304.4
《
明代社会变迁时期生活质量研究
》
售價：HK$
316.2
|
| 編輯推薦： |
|
《基于图像点特征的多视图三维重建》可供计算机科学与工程、控制科学与工程以及信息技术相关专业的高年级本科生和研究生阅读，也可供计算机视觉、模式识别与人工智能等领域的教学和科研人员参考。
|
| 內容簡介： |
|
基于图像的多视图三维重建研究如何从多幅二维图像中重构场景的三维几何结构，是计算机视觉的基《基于图像点特征的多视图三维重建》目标和热门研究方向。多视图三维重建的本质是从二维图像观察中估算相机参数和场景点的三维坐标，因此该过程是图像获取的逆过程。由于图像数据不可避免地受噪声和外点的干扰，多视图三维重建逆过程面临诸多挑战。《基于图像点特征的多视图三维重建》关注基于图像点特征、没有任何场景先验知识的多视图三维重建问题，介绍了多视图几何，以及多视图三维重建的基本原理和相关基础知识，在此基础上重点研究从两视图到一般多视图、从陆上到水下环境等四类典型的三维重建问题。《基于图像点特征的多视图三维重建》着眼于提高现有多视图三维重建方法的鲁棒性和精度，从三维重建问题建模及全局优化求解两方面展开深入研究，提出一系列创新的多视图三维重建相关算法和技术。
|
| 目錄：
|
目录
前言
第1章绪论1
1.1研究背景与意义1
1.1.1研究背景1
1.1.2研究意义2
1.2多视图三维重建的研究现状4
1.2.1图像特征点检测和匹配5
1.2.2基于图像的稀疏三维重建7
1.2.3多视图稠密匹配与三维重建9
1.2.4多视图水下三维重建11
1.2.5多视图几何中常用的优化方法13
1.3本书主要内容与组织15
1.3.1本书主要内容15
1.3.2本书内容组织17
第2章多视图几何及多视图三维重建基础19
2.1简介19
2.2射影空间及透视成像基础19
2.2.1射影空间点和平面的表示19
2.2.2射影空间直线的表示20
2.2.3透视相机模型21
2.2.4透视相机成像过程22
2.3两视图几何及基本矩阵估计23
2.3.1对极几何与基本矩阵23
2.3.2定标视图基本矩阵计算25
2.3.3非定标视图基本矩阵估计25
2.4多视图三维重建及其优化问题26
2.4.1射影多义性26
2.4.2度量三维重建27
2.4.3多视图三维重建优化问题29
2.5本章小结32
第3章图像点特征检测及多视图匹配33
3.1简介33
3.2点特征定位与描述33
3.2.1图像点特征概述33
3.2.2Harris点特征检测35
3.2.3SIFT点特征检测37
3.2.4SIFT点特征描述子38
3.3两视图点特征匹配40
3.3.1两视图匹配基本策略40
3.3.2鲁棒的两视图点特征匹配41
3.3.3RANSAC迭代次数的确定42
3.4多视图点特征匹配43
3.4.1高维空间快速近邻搜索43
3.4.2快速多视图点特征匹配44
3.4.3多视图点特征匹配测试46
3.5本章小结47
第4章多视图三维重建相关优化方法基础48
4.1简介48
4.2非线性*小二乘优化方法48
4.2.1非线性*小二乘问题描述48
4.2.2高斯{牛顿迭代法49
4.2.3莱文伯格{马夸特迭代法50
4.3凸优化理论及方法51
4.3.1凸优化的基本概念51
4.3.2凸优化问题描述53
4.3.3凸优化问题求解的牛顿法55
4.3.4凸优化问题求解的内点算法57
4.4随机优化理论及方法59
4.4.1差分进化迭代过程.59
4.4.2差分进化的终止条件62
4.4.3混合优化策略63
4.5本章小结63
第5章非定标视图直接三维重建建模与优化64
5.1概述64
5.2传统两视图三维重建方法简介65
5.3直接三维重建问题的建模66
5.3.1相机矩阵参数化66
5.3.2图像特征点对应坐标修正66
5.3.3图像对应外点剔除68
5.3.4施加Cheirality约束69
5.3.5带约束优化问题70
5.4直接三维重建问题的求解72
5.4.1全局优化流程及基本操作73
5.4.2试验向量评价与比较76
5.5实验结果与分析78
5.5.1合成数据实验79
5.5.2真实数据实验90
5.6本章小结93
第6章定标视图直接三角化建模与优化94
6.1概述94
6.2传统多视图三角化方法简介95
6.3鲁棒的噪声尺度估计96
6.3.1对极转移中不确定性的传播97
6.3.2基于残差一致性的噪声尺度估计100
6.4三维重建中结构边界的计算103
6.4.1图像对应内点子集筛选104
6.4.2三维结构误差边界计算106
6.5鲁棒的全局**多视图直接三角化108
6.5.1多视图直接三角化问题建模108
6.5.2基于混合优化的问题求解109
6.6实验结果与分析113
6.6.1合成数据实验113
6.6.2真实数据实验122
6.7本章小结128
第7章基于折射相机模型的水下三维重建129
7.1概述129
7.2折射相机成像模型130
7.2.1后向投影的解析计算131
7.2.2前向投影的解析计算132
7.2.3折射椭圆与折射深度134
7.3已知旋转参数的水下三维重建136
7.3.1全局**水下已知旋转问题建模136
7.3.2鲁棒的水下已知旋转问题建模138
7.4未知旋转参数的水下三维重建138
7.4.1基于混合优化的水下相机定标139
7.4.2稀疏与稠密水下三维结构估计140
7.5实验结果与分析141
7.5.1合成数据实验141
7.5.2合成渲染图像实验143
7.5.3真实数据实验146
7.6本章小结149
第8章水下三维重建折射补偿理论与验证150
8.1概述150
8.2折射变形及其补偿理论分析151
8.2.1折射变形的理论分析151
8.2.2基于透视相机模型的折射变形补偿155
8.3折射补偿实验设计157
8.3.1水下图像采集装置157
8.3.2测试数据集158
8.3.3三维重建及性能评估159
8.4实验结果与分析161
8.4.1合成数据实验161
8.4.2真实数据实验166
8.5本章小结169
第9章总结与展望170
9.1本书内容总结170
9.2研究工作展望171
参考文献173
符号表184
术语英汉对照表186
彩图
|
| 內容試閱：
|
第1章绪论
1.1研究背景与意义
1.1.1研究背景
视觉是人类感知外部环境、认知外部世界*重要的途径，人类大约有80%的外部信息都是通过视觉途径获取的[1]。为了赋予计算机以人类视觉的认知功能，使其具备通过二维图像认知三维世界的能力，一门新兴的交叉学科||计算机视觉（computervision）在过去几十年得到了极大的关注和发展[2]。20世纪80年代，麻省理工学院的Marr教授将心理学、人工智能，以及神经生理学等学科的研究成果集成到视觉处理中，提出了迄今*完善的计算机视觉信息处理系统框架[3]。
Marr视觉计算理论将计算机视觉划分为自底向上的三个阶段，各阶段中场景分别用基元图（primalsketch）、2.5维图和三维模型来表达。从二维图像中重建三维场景是Marr视觉体系的主要目标，因此基于图像的三维重建（image-based3Dreconstruction）成为计算机视觉中的基本研究课题。基于图像的三维重建有两大任务：一是从二维图像中恢复相机参数，二是重建场景的三维几何结构。由于图像获取过程是一个从三维世界坐标到二维图像坐标的映射过程，该过程不可避免地丢失了场景的深度信息，所以基于图像的三维重建问题是极具挑战的逆问题（inverseproblem）。
在过去的二三十年中，国内外学者对基于图像的三维重建理论和方法进行了广泛、深入的研究，并取得了大量有益的研究成果。尽管基于图像的三维重建中的视图几何理论本身已经趋于成熟，但近年来关于基于图像的三维重建的**性、鲁棒性、效率等方面的研究又取得了许多新进展，促进三维重建的质量不断提升。这些新算法和新成果的不断涌现，使得基于图像的三维重建目前仍然是一个非常活跃的研究课题。
与传统的三维模型获取方法相比，基于图像的三维重建不仅设备简单、成本低廉，而且可以获取更加逼真、精确的三维模型。为了构建复杂的三维场景模型，传统的几何造型（geometricmodelling）技术（如实体造型、隐式曲面、细分曲面等）需要较大的工作量[4]。对于基于图像的三维重建，其复杂度不会因为场景复杂度的增加而增大。此外，尽管利用三维激光扫描（3Dlaserscanner）设备可以直接获取高精度的场景深度信息，但这种方法通常不能获取场景的纹理信息，也不适合开放性的大范围场景[5]。在数据源方面，早期的三维重建算法对此要求较高，需要利用已精确定标的设备捕获图像，这种限制在近年来的研究中逐渐解除。实际上，随着三维重建技术和图像获取技术的不断发展，可用于基于图像的三维重建的有效图像数据源也不断拓展。如今，人们可以利用消费级数码相机、数码摄像机、智能手机等越来越廉价、小型化的设备随时随地拍摄数字图像，而这些图像均可以作为基于图像的三维重建的输入。有效图像数据源的拓展进一步简化了三维重建过程、降低了三维重建的成本。
根据输入数据的不同，基于图像的三维重建面临许多不同的问题实例。例如，根据输入图像数量的不同，包含单视图三维重建、两视图三维重建和一般多视图三维重建三大类重建问题；根据是否需要相机参数信息，包含非定标视图三维重建和定标视图三维重建两大类重建问题。此外，根据图像捕获设备与被观察场景是否处于同一介质，也会引出不同类型的三维重建问题。以空气和水介质为例，可分为基于在空气中拍摄的传统图像的三维重建（本书称为陆上三维重建），以及基于在水下拍摄的图像的三维重建（本书称为水下三维重建）。不同类型的三维重建问题对应于不同的应用场合，各自的求解方法也不尽相同。
1.1.2研究意义
本书关注基于图像点特征的多视图度量三维重建（metric3Dreconstruction）方法，深入研究四类典型的三维重建问题的建模与求解方法。本书研究对场景结构本身没有任何限制（如共线、共面），也不需要任何场景先验知识，而且相对于线、面图像特征而言，点特征在二维图像中更加广泛存在，因此本书研究适用于一般三维场景的重建。下面从理论和实际应用两方面阐述本书研究的意义。
从理论上来说，基于图像的三维重建在本质上是一个参数估计问题，这些参数包括全部或者部分相机参数及其场景三维几何结构。为了获取理想的参数估计，需要定义某种准则来衡量参数估计的优劣，而该质量定义就是**化参数估计的目标函数。由于三维重建是一个逆问题，且图像数据不可避免地受噪声和外点（outlier）干扰，三维重建优化问题往往呈现非线性（non-linear）、非凸性（non-convex）和多模态（multi-modal，即存在多个局部**值），尚没有统一、高效的求解方法。目前，求解三维重建问题中相关子问题（如相机定标、三角化等）的全局方法主要有两大类：一类是确定性算法，这类算法对目标函数的形式要求十分严格，且在有外点干扰的情况下**性将无法保持；另一类是非确定性算法，这类方法往往存在效率低下、收敛性较差等不足之处。当然，尽管上述两类方法均存在不足，各自的优势也十分明显。对于确定性算法，可以从理论上证明其解的**性；对于非确定性算法，目标函数的设置具有较大的灵活性。本书研究提出在新的混合优化框架下充分挖掘并利用两类方法的优点，以实现算法性能的提升，这对视图几何问题的建模和求解具有较大的理论意义。
从应用上来说，本书研究内容涵盖了四类典型的三维重建问题，不仅研究基于普通相机拍摄的图像的陆上两视图和一般多视图三维重建，而且研究了由放置在防水外壳中的相机拍摄的水下图像的三维场景重建方法。实际上，计算机视觉领域的学者针对陆上三维重建已有大量研究，但水下环境的三维重建直到*近几年才在计算机视觉领域引起重视，目前尚处于探索阶段。因此，本书从两视图到一般多视图、从陆上到水下环境的三维重建研究，可进一步拓宽基于图像的三维重建技术的应用领域。具体来说，本书研究的非定标两视图三维重建方法适合图像数据少、先验知识不足的场合；定标多视图三维重建方法适合图像数据充足、相机参数已知的应用场合；两视图和一般多视图水下三维重建方法则适合相机和被观察物体处于不同介质中的应用场合。
随着基于图像的三维重建技术的不断发展，三维模型获取过程自动化程度越来越高、三维重建精度不断提升，该技术在三维模型获取、虚拟仿真、非接触式测量、科学计算、混合现实、数字娱乐等领域，以及军事领域的应用也不断扩展。前面已经提到，实际应用中可利用多种设备获取图像数据以实现三维重建。在战场环境中，也可利用安装在无人机（unmannedaerialvehicle）、装甲车、坦克，甚至数字单兵装备上的视觉传感器（如照相机、摄像头）来捕获感兴趣区域的数字图像。然后离线或者实时地生成目标区域（或者目标物体）的高精度三维结构。下面就几种常见的民事和军事应用进行简要说明。
（1）三维模型获取。从图像序列中重建得到的场景三维模型包含丰富的纹理信息和三维几何信息。在输入图像信息充足的情况下，可获得具有高度真实感的三维模型，并完全保持几何模型与真实场景之间的角度和比例关系。同时，与传统的基于手工的建模方法（如3DMAX建模软件）相比，基于图像的三维重建自动化程度较高，因此可在文物三维数字化、建筑设计、机械CAD、影视动画等领域中发挥重要作用。
（2）非接触式测量。基于图像的三维重建模型的尺寸与真实场景之间仅相差一个全局的比例系数，因此只要给出场景中的任何一个参考尺寸，就可以通过重建模型计算场景中任意两点间的真实距离。在真实场景的参考坐标已知的情况下，还可以得到重建场景中任意一点的**位置。基于图像的三维重建的上述特性，使其满足非接触式测量的要求。这种非接触式测量所需设备简单，通过相机拍摄的图像即可计算物体的三维尺度信息。
（3）混合现实技术。混合现实（mixedreality，MR）是将虚拟对象与真实场景的图像或视频集成起来，以达到虚实无缝融合的目的[6]。基于图像的三维重建以恢复相机参数和场景的三维几何结构为目的。一方面，三维重建获得的相机参数可以为混合现实中的摄像机定标和跟踪提供支持；另一方面，真实场景的三维几何结构可以为虚拟对象的嵌入提供精确的坐标参考。因此，一旦实现基于图像的三维重建，虚拟对象便可准确地嵌入真实场景图像或者视频中。此外，混合现实中虚实场景的光照一致性等问题也将迎刃而解。
（4）战场态势感知。在军事上，基于图像的三维重建结果可服务于战场环境可视化（battleeldenvironmentvisualization）、自动目标识别（automatictargetrecog-nition）、毁伤估计（damageassessment）等应用，有效提升战场态势感知（situationalawareness）能力，从而为指挥员提供辅助决策支持。一方面，上述三维模型可以直接嵌入虚拟战场环境，获得更加逼真、可靠的战场可视化效果；另一方面，获得目标的三维信息之后，可以更加有效地对其进行识别；除此之外，在视觉传感器周围环境发生变化的情况下，借助实时重建的三维环境可更加准确、直观地进行毁伤估计。
（5）战场环境监测。通过无人机或者其他视觉传感器载体得到目标的多幅图像或影像后，可快速实施三维重建和目标三维尺寸的测量。这种非接触式测量为军事侦察提供了精确、高效的监测手段，极大地提高侦察的灵活性、准确性和安全性。特别地，本书深入研究了水下图像的三维重建方法，可获得正确、逼真的水下三维场景模型，该技术可极大促进水下战场环境监测、目标侦察等任务。由于基于图像的三维重建是一种被动式三维重建方法，较之其他主动式三维重建方法（如三维激光扫描）更具隐蔽性和灵活性，所以尤其适合上述军事应用。
（6）虚拟军事训练。随着基于图像的三维重建技术和混合现实技术的发展，其在虚拟军事训练中有着广阔的应用前景。在基于图像的三维重建技术支撑下，借助混合现实技术不仅可以使受训人员产生高度的沉浸感，而且可以利用先进的交互技术实现自然和谐的交互体验。基于混合现实的虚拟训练能模拟并展现逼真的、复杂的战场景况，不仅可以降低训练成本、确保训练安全，而且可重复训练过程、增加训练的趣味性、极大地提高训练成效。
1.2多视图三维重建的研究现状
基于图像的三维重建处于交叉研究领域，涉及计算机视觉、计算机图形学、图像处理、模式识别等诸多学科。通过国内外学者近几十年的研究，在理论上和应用中都涌现出大量优秀的相关研究成果。由于相关工作繁多，这里无法面面俱到，本节仅对基于图像点特征的三维重建中涉及的*核心的技术进行简要回顾。在后续章节中将针对研究的具体问题再次回顾与各章紧密相关的研究工作。更加详细、全面的相关算法和应用请参阅文献[1]、[7]、[8]。
1.2.1图像特征点检测和匹配
图像特征点对应（featurepointcorrespondence）指的是图像间稀疏的像素坐标对应关系。图像特征点对应是基于图像点特征的三维重建方法的基础，通常包括特征点检测、特征描述和特征匹配等主要步骤，下面分别加以介绍。
1.图像特征点检测
三维重建中图像特征点检测的目标是检测图像中稳定的兴趣点（interestpoint），并确定其位置、方向、尺度等仿射变换参数的过程。目前较流行的特征点检测算法有：Laplacian检测算法[9]；用两个不同尺度的高斯滤波器的差值近似Laplacian算法的DOG（di.erenceofGaussian）检测算法[10]；以及根据梯度协方差矩阵检测图像中角点位置的Harris-A±ne、Hessian-A±ne等检测算法[9]。其中，文献[10]提出的基于DOG的特征点检测方法||尺度不变特征变换（scale-invariantfeaturetransform，SIFT）是目前性能**的特征点检测算法之一。由于SIFT特征具有可重复性、对某些几何和摄影图像变换的不变性，所以适合多视图的匹配。SIFT特征点探测的主要流程如下：首先对输入图像进行DOG滤波，如图1.1a所示，然后搜索滤波后的图像中的所有极大和极小值，这些极值对应的像素坐标即为特征点坐
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
