一种基于orb特征匹配的航拍影像及地理数据拼接方法
【专利摘要】本发明提出了一种基于orb特征匹配的航拍影像及地理数据拼接方法，包括：步骤1，读取待拼接图像及地理信息；步骤2，对处理器进行任务分配；步骤3，提取待拼接图像的orb特征；步骤4，对拍摄待拼接图像的相机参数进行初始化估计并求出旋转矩阵；步骤5，用光束法平差提高估计精度；步骤6，对待拼接图像进行初始拼接；步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像。
【专利说明】
-种基于orb特征匹配的航拍影像及地理数据拼接方法
技术领域
[0001] 本发明属于图像与地理信息融合处理技术，利用了图像拼接技术与地理数据的融 合，尤其设及一种基于0rb(0riented fast and rotated brief,有方向的加速分割测试特 征和有旋转的二进制鲁棒独立基本特征)特征匹配的航拍影像及地理数据拼接方法。
【背景技术】
[0002] 图像拼接技术是图像配准、图像融合的综合体，综合运用了图像配准与融合技术， 其目的是将多幅有一定重叠区域的图像拼接融合为一副图像，其在虚拟现实、虚拟漫游、海 底探测、卫星遥感图像等方面有广泛的应用。其中，图像配准主要包括基于频域的方法、基 于区域的方法和基于特征的图像配准方法。
[0003] -般的图像拼接技术仅仅对图像本身进行拼接而忽略了无人机图像带有的地理 数据信息。无人机遥感具有机动、高效、成本低的特点，且能够在云下低空飞行，在侦查± 地、矿产资源、地质环境评估、灾害防治及空间信息快速采集方面，地理数据信息格外重要。 由于无人机机载摄像机拍摄范围的限制，侦察人员往往希望能够在拼接后的图像上w全局 视角观察侦察的地理范围及目标的具体位置。为了满足侦察人员的需要，结合图像配准、融 合、拼接技术，将地理信息融合到图像拼接过程中，实现了图像地理数据的拼接与融合。
[0004] 图像配准主要通过检测图像中的特征点进行配准，常用的特征点检测算法主要是 局部图像特征检测算法。局部图像特征描述是计算机视觉领域特征描述的基本方法，对于 识别、匹配图像有着重要的作用。当下比较流行的具有不变性的局部图像特征提取算法包 括sift(scale invariant feature iyansform,尺度不变特征变换）、洲rf(speeded up robust features,加速鲁棒特性)和orb等。一个好的局部图像特征描述要具有不变性和可 区分性。不变性包括视角、平移、尺度、旋转、形状、亮度不变性等。sift算法是lowe提出的一 种具有很好稳定性和鲁棒性的特征提取算法。该特征具有旋转、尺度、平移和亮度不变性， 其对视角也具有一定的不变性。surf是化rbert bay等人提出来的，其特点是快速性，并具 有尺度不变性，对光照、仿射、透视变化也具有鲁棒性。orb算法是化ban rublee提出来的一 种基于〇fast(orientation features from accelerated segment test)和rbrief (rotation-aware binary robust independent elementary features)的特征点检测算 法。其中，fast算法的速度几乎是dog(difference of gaussian,高斯差分，sift所用的算 法）的30倍。在细致程度上sift算法高于surf算法，surf算法高于orb算法，但是在计算速度 上正好相反。
[0005] 多频段融合(multi-band blending)是由bu;rt p.j.和adelson e.h.提出来的，它 是建立在高斯金字塔变换的基础上的，将原图像分解成多个不同空间分辨率、不同尺度的 子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
[0006] 近年来，有大量基于sift/洲rf/0rb/化rris检测的拼接算法被提出来，但很多都 是仅仅处理图像本身。而在无人机遥感领域，飞机所拍摄的图像不仅包含图像本身，还带有 各种地理信息和飞行参数。在无人机正视俯拍的情况下，可w利用飞机的载荷参数计算出 图像中像素点的地理信息，并将其与图像一同传回地面控制中屯、。在图像处理的同时，处理 人员希望能够不丢失地理信息，例如，在拼接后的图像上可w更加直观的观察图像中的目 标，对感兴趣的目标可w直接进行地理定位。
【发明内容】
[0007]发明目的:本发明所要解决的技术问题是在图像拼接处理过程中插入地理信息数 据，将其融合到图像处理过程，w多线程高效完成图像及地理信息拼接过程，并提供一种基 于orb特征匹配的航拍影像及地理数据拼接方法。
[000引技术方案:本发明包括w下步骤：
[0009] 步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维 双精度浮点矩阵中，其中地理信息在本发明说明书中仅包含经度和缔度信息，而本发明方 法支持扩展其他地理信息，如高度等，增加其他地理信息，只需增加矩阵通道数即可，矩阵 的第一通道为矩阵中第v列（l《v《总列数)除w通道数余数为0的列合并成的子矩阵，第二 通道为矩阵中第v列除w通道数余数为1的列合并成的子矩阵，第=通道为矩阵中第v列除 w通道数余数为2的列合并成的子矩阵，依此类推；
[0010] 步骤2,一台计算机可w安装多个中央处理器，一个中央处理器可w封装多个物理 核屯、，即所谓的多核屯、架构处理器。支持intel超线程技术的处理器，每个物理核屯、又可w 支持两个逻辑核屯、。计算机基于计算机的处理器逻辑核屯、数计算任务分配数，对处理器进 行任务分配，每个处理器只处理一批拼接图像；
[0011] 步骤3，提取待拼接图像的orb特征，使用最近邻和次近邻的方法保留最优匹配点；
[0012] 步骤4,根据任意两幅待拼接图像的匹配与运些匹配计算出的单应性矩阵，对拍摄 待拼接图像的相机的参数进行初始化估计。其中，在计算机视觉中，平面的单应性被定义为 一个平面到另一个平面的投影映射。
[0013] 步骤5，用光束法平差提高估计精度;使用bundle ad justment光束法平差算法对 所有待拼接图像进行相机参数校正，w初始化所有待拼接图像为相同的旋转和焦距长度。 由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上光束法平差 值，w初始化图像为相同的旋转和焦距长度。w提高估计精度。光束法平差具有鲁棒性，其 目标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计 算出的相机参数的误差的平方和最小。
[0014] 步骤6,根据相机参数w及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接 图像的初始拼接;对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩 阵进行矩阵变换，完成对地理信息的拼接;地理信息跟随图像进行相同的单应性矩阵变换， 保证了变换后的图像有相同的地理信息。同时，由于经度范围为-180度到180度，缔度范围 为-90度到90度，在插值变换时需要注意地理信息不能超出有效范围。
[0015] 步骤7,对拼接后的图像进行亮度的增量补偿w及基于图像金字塔的多波段融合， 对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；
[0016] 步骤8,对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合 并形成最终结果图像；
[0017] 步骤1中所述二维双精度浮点矩阵使用xml(extens;lble markup language,可扩 展标记语言)结构存储。
[0018] 步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多 处理的待拼接图像数并进行任务分配：
[0019]
[0020] 其中，n为处理器每线程最多处理的待拼接图像数，n为待拼接图像总数，xi为重叠 图像数，〇《xi《n-l，t为线程数，因图像拼接在每个处理线程上至少需要两幅图像，所wn > 2，否则将会因分配的图像张数不足两张而无法拼接。
[0021] 步骤3包括如下步骤：
[0022] 步骤3-1，对待拼接图像构建金字塔。其中，图像金字塔是w多分辨率来解释图像 的一种结构，一幅图像的金字塔是一系列w金字塔形状排列的分辨率逐步降低的图像集 合。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。当向金字塔的 上层移动时，尺寸和分辨率就降低；
[0023] 步骤3-2，用fast(features from accelerated segment test，加速分割测试特 征）算法检测关键点的位置，运里的关键点指角点，角点为邻域内具有两个主方向的特征 点';
[0024] 步骤3-3，对关键点用化rris角点检测，从中选出化rris角点响应值最大的化个特 征点，其中化rr i s角点的响应函数r定义为：
[0025] r = detm-a(tracem)2，
[0026] 其中，
[0027]
[002引i为图像像素灰度值，ix为图像x方向的偏导数jy为图像y方向的偏导数，w为加权 函数，它既可是常数，也可w是高斯加权函数。
[0029] detm为矩阵m的行列式，tracem为矩阵m的直迹，a为常数，取值范围为0.04~0.06;
[0030] 步骤3-4,对于选取的化个角点，根据intensity centroid强度中屯、算法计算角点 白勺方向，良p得至u〇fast(orient曰tion features from acceler曰ted segment test，有方向 的加速分割测试特征)特征；
[0031] 步骤3-5，由于brief算法是无向的，将步骤3-4中计算出来的角点方向作为brief (binary robust independent elemental^ fea1:ures，二进制鲁棒独立基本特征）的方向 进行旋转，得到有向的brief,用贪婪学习算法筛选出具有高方差和高不相关的有向brief, 称之为rbrief(rot曰tion-aw曰re binary robust independent elementary fe曰tures，有 旋转的二进制鲁棒独立基本特征）；
[0032] 步骤3-6,将ofast和巧rief组合得到orb特征。
[0033] 步骤4包括:使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配： 最近邻匹配距离与次近邻匹配距离的比值小于一定的阔值(经验值为1.0)，即认为特征点 匹配，否则为不匹配，并删除置信度低（即低于阔值1.0)的图像，即删除不是同一个全景图 中的图像，当找到可w拼接的两幅图像后，将其合并到一个拼接集合中，扩展运个集合得到 最大的可拼接集合，并查集是一种树型的数据结构，用于处理一些不相交的集合(disjoint sets)的合并及查询问题，即将属于相同集合的元素合并起来;单应性矩阵中包含旋转矩阵 ro和平移列向量to,通过单应性矩阵的限制条件估算相机内参数矩阵。
[0034] 如果两幅图像所对应的摄像机坐标之间的变换为（ro，to)，其中ro=(ri，r2，r3)， (ri，r2，r3)为组成旋转矩阵扣的；个列向量，（ro，t〇)是世界坐标系到摄像机坐标系之间的 刚体变换，摄像机内参数矩阵为k，n〇是空间平面在世界坐标系下的法向量，符号~表示在 相差一个常数因子意义下的相等，空间平面上的点x2=[a，b，c]t(上标t表示矩阵或向量转 置巧ij图像平面上的点m(齐次坐标)之间的映射关系，即：
[0035]
，
[0036] a，b，c为点x2的空间坐标，空间平面在世界坐标系下的方程为11打：=1，则两幅图 像对应点m o 之间的单应性矩阵为：
[0037]
[0038] m和m'分别为两幅图像平面坐标上的点，当单应性矩阵h已知时，从h得到关于摄像 机内参数矩阵k的两个线性约束方程，由于h=化出油3)~kbinto),化出油3)为组成矩阵h的 s个列向量，所wlti化ih2h3)~(rinto);又由于甘1?二化!却=1*'2|，对摄像机内参数矩阵財寻 到如下两个约束：
[0039]
[0040]
[0041]
[0042]
[0043] aspect = 1.0，ppx和ppy分别赋值为图像中屯、点横坐标值和纵坐标值，f为焦距，
[0044] 求取焦距中值或平均值作为所有图像的焦距初始化估值。
[0045] 步骤7包括如下步骤：
[0046] 步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强；
[0047] 步骤7-2,用最大流方法检测图像重叠区域之间的缝隙；
[0048] 步骤7-3,进行多波段融合:将待拼接图像分解成两个w上不同空间分辨率、不同 尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
[0049] 步骤7-4,对拼接后的地理信息进行有条件的插值融合:如果在拼接过程中，其中 一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接 将已知的地理信息作为拼接后图像的地理信息;如果拼接的两幅图像在融合点处的经缔度 相差小于0.0002度，则取两幅图像在融合点处的经缔度的平均值作为拼接图像的经缔度； 如果拼接的两幅图像在融合点处的经缔度相差大于或等于0.0002度，则判定为拼接失败。
[0050] 所述方法还包括步骤9,基于sift特征点对最终结果图像进行验证:使用拼接前的 图像与拼接后的图像进行sift特征匹配，用ransac(random sample consensus,随机抽样 一致)算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较 sift匹配点之间拼接前与拼接后图像的经度差和缔度差，如果其差异小于或等于0.0001， 则判定拼接的地理信息正确。
[0051] 为了解决大量拼接计算时间长的问题，本发明采用多线程机制，充分利用处理器 核屯、处理能力，对拼接图像的不同部分同时进行拼接，并在最终将各个处理器的处理结果 合成拼接为最终拼接结果。本发明使用orb算法的主要原因是图像拼接的计算量本来就很 大，如果使用计算量更大的sift或surf,算法将会慢得难w想象。而且，实际系统中测试结 果表明orb算法的匹配结果已经能够满足需要，无需使用计算量更大的surf或sift。
[0052] 本发明通过利用将地理信息矩阵作为2维矩阵插入图像拼接处理过程中，与图像 进行相同的仿射变换、平移操作，从而将地理信息拼接起来，并与原始图像一一对应。
[0053] 有益效果:本发明利用了经缔度与图像像素点一一对应的关系，可w将地理信息 附加到图像处理过程中，共同参与图像处理过程，保证了在拼接过程中，地理信息数据与图 像进行相同的变换操作，并最终输出带有地理信息的拼接图像。orb是一种新的特征提取技 术，比sift效率高两个数量级，其综合性能也很强，可w有效提高特征提取速度。多频段融 合可w提升图像的融合效果，使图像过渡更加自然。利用多核技术，可w有效提高基于最优 拼接路径的图像拼接算法速度。使用基于sift特征点对拼接后的地理信息进行验证，为地 理信息拼接结果验证提供了有效的方法。
[0054] 下面结合附图对本发明作进一步详细描述。
【附图说明】
[0055] 下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述 和/或其他方面的优点将会变得更加清楚。
[0056] 图1是双通道地理信息矩阵存储结构。
[0057] 图2是基于orb特征的航拍影像及地理数据多线程图像拼接系统示意图。
[005引图3是基于orb特征的航拍影像及地理数据图像拼接流程图。
[0059] 图4是带地理信息的图像拼接结果。
[0060] 图5是百幅图像拼接结果。
【具体实施方式】
[0061] 本发明包括如下步骤：
[0062] 步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维 双精度浮点矩阵中，其中地理信息在本发明说明书中仅包含经度和缔度信息，而本发明方 法支持扩展其他地理信息，如高度等，增加其他地理信息，只需增加矩阵通道数即可，矩阵 的第一通道为矩阵中第v列（l《v《总列数)除w通道数余数为0的列合并成的子矩阵，第二 通道为矩阵中第v列除w通道数余数为1的列合并成的子矩阵，第=通道为矩阵中第v列除 w通道数余数为2的列合并成的子矩阵，依此类推；
[0063] 步骤2,一台计算机可w安装多个中央处理器，一个中央处理器可w封装多个物理 核屯、，即所谓的多核屯、架构处理器。支持intel超线程技术的处理器，每个物理核屯、又可w 支持两个逻辑核屯、。计算机基于计算机的处理器逻辑核屯、数计算任务分配数，对处理器进 行任务分配，每个处理器只处理一批拼接图像；
[0064] 步骤3,提取待拼接图像的orb特征，使用最近邻和次近邻的方法保留最优匹配点；
[0065] 步骤4,根据任意两幅待拼接图像的匹配与运些匹配计算出的单应性矩阵，对拍摄 待拼接图像的相机的参数进行初始化估计。其中，在计算机视觉中，平面的单应性被定义为 一个平面到另一个平面的投影映射。
[0066] 步骤5，用光束法平差提高估计精度;使用bundle ad justment光束法平差算法对 所有待拼接图像进行相机参数校正，w初始化所有待拼接图像为相同的旋转和焦距长度。 由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上光束法平差 值，w初始化图像为相同的旋转和焦距长度。w提高估计精度。光束法平差具有鲁棒性，其 目标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计 算出的相机参数的误差的平方和最小。
[0067] 步骤6,根据相机参数w及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接 图像的初始拼接;对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩 阵进行矩阵变换，完成对地理信息的拼接;地理信息跟随图像进行相同的单应性矩阵变换， 保证了变换后的图像有相同的地理信息。同时，由于经度范围为-180度到180度，缔度范围 为-90度到90度，在插值变换时需要注意地理信息不能超出有效范围。
[0068] 步骤7,对拼接后的图像进行亮度的增量补偿w及基于图像金字塔的多波段融合， 对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；
[0069] 步骤8,对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合 并形成最终结果图像；
[0070] 步骤1中所述二维双精度浮点矩阵使用xml可扩展标记语言结构存储。
[0071] 步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多 处理的图像数并进行任务分配：
[0072]
[0073] 其中，n为处理器每线程最多处理的待拼接图像数，n为待拼接图像总数，xi为重叠 图像数(〇《xi《n-l)，t为线程数，因图像拼接在每个处理线程上至少需要两幅图像，所wn > 2，否则将会因分配的图像张数不足两张而无法拼接。
[0074] 步骤3包括如下步骤：
[0075] 步骤3-1，对待拼接图像构建金字塔。其中，图像金字塔是w多分辨率来解释图像 的一种结构，一幅图像的金字塔是一系列w金字塔形状排列的分辨率逐步降低的图像集 合。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。当向金字塔的 上层移动时，尺寸和分辨率就降低；
[0076] 步骤3-2，用fast(features from accelerated segment test，加速分割测试特 征）算法检测关键点的位置，运里的关键点指角点，角点为邻域内具有两个主方向的特征 点';
[0077] 步骤3-3，对关键点用化rris角点检测，从中选出化rris角点响应值最大的化个特 征点，其中化rr i s角点的响应函数r定义为：
[007引 r = detm-a(tracem)2，
[0079]其中，
[0080] ，
[0081] i为图像像素灰度值，ix为图像x方向的偏导数jy为图像y方向的偏导数，w为加权 函数，它既可是常数，也可w是高斯加权函数。
[0082] detm为矩阵m的行列式，tracem为矩阵m的直迹，a为常数，取值范围为0.04~0.06;
[0083] 步骤3-4,对于选取的化个角点，根据intensity centroid强度中屯、算法计算角点 白勺方向，良p得至u〇fast(orient曰tion features from acceler曰ted segment test，有方向 的加速分割测试特征)特征；
[0084] 步骤3-5，由于brief算法是无向的，将步骤3-4中计算出来的角点方向作为brief (binary robust independent elemental^ fea1:ures，二进制鲁棒独立基本特征）的方向 进行旋转，得到有向的brief,用贪婪学习算法筛选出具有高方差和高不相关的有向brief, 称之为rbrief(rot曰tion-aw曰re binary robust independent elementary fe曰tures，有 旋转的二进制鲁棒独立基本特征）；
[0085] 步骤3-6，将ofast和巧rief组合得到orb特征。
[0086] 步骤4包括:使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配： 最近邻匹配距离与次近邻匹配距离的比值小于一定的阔值(经验值为1.0)，即认为特征点 匹配，否则为不匹配，并删除置信度低（即低于阔值1.0)的图像，即删除不是同一个全景图 中的图像，当找到可w拼接的两幅图像后，将其合并到一个拼接集合中，扩展运个集合得到 最大的可拼接集合，并查集是一种树型的数据结构，用于处理一些不相交的集合(disjoint sets)的合并及查询问题，即将属于相同集合的元素合并起来;单应性矩阵中包含旋转矩阵 ro和平移列向量to,通过单应性矩阵的限制条件估算相机内参数矩阵。
[0087] 如果两幅图像所对应的摄像机坐标之间的变换为(ro，to)，其中ro = (ri，n，n)， (ri，n，n)为组成矩阵獻的立个列向量，（ro, to)是世界坐标系到摄像机坐标系之间的刚体 变换，摄像机内参数矩阵为k，n〇是空间平面在世界坐标系下的法向量，符号~表示在相差 一个常数因子意义下的相等，空间平面上的点^2=[曰，6，(3]\(曰，13，(3为点的空间坐标，上标了 表示矩阵或向量转置巧ij图像平面上的点m(齐次坐标)之间的映射关系，即：
[008引
[0089] 空间平面在世界坐标系下的方程为的x; = 1，则两幅图像对应点m o (m，m '分 别为两幅图像平面坐标上的点)之间的单应性矩阵为：
[0090]
[0091] 当单应性矩阵h已知时，从h可w得到关于摄像机内参数矩阵k的两个线性约束方 程。由于h=化ih油3)~k(tinto)，化ih油3)为组成矩阵h的s个列向量，所wk-i化ih2h3)~ (r in to);又由于if 1? =化i r, h ，所w对矩阵k可w得到如下2个约束：
[0092]
[0093]
[0094] 其中，
[0095]
[0096] aspect = 1.0，ppx和ppy分别赋值为图像中屯、点横坐标值和纵坐标值，f为焦距。
[0097] 求取焦距中值或平均值作为所有图像的焦距初始化估值。
[0098] 步骤7包括如下步骤：
[0099] 步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强；
[0100] 步骤7-2,用最大流方法检测图像重叠区域之间的缝隙；
[0101] 步骤7-3,进行多波段融合:将待拼接图像分解成两个w上不同空间分辨率、不同 尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
[0102] 步骤7-4,对拼接后的地理信息进行有条件的插值融合:如果在拼接过程中，其中 一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接 将已知的地理信息作为拼接后图像的地理信息;如果拼接的两幅图像在融合点处的经缔度 相差小于0.0002度，则取两幅图像在融合点处的经缔度的平均值作为拼接图像的经缔度； 如果拼接的两幅图像在融合点处的经缔度相差大于或等于0.0002度，则判定为拼接失败。
[0103] 所述方法还包括步骤9,基于sift特征点对最终结果图像进行验证:使用拼接前的 图像与拼接后的图像进行sift特征匹配，用ransac(random sample consensus,随机抽样 一致)算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较 sift匹配点之间拼接前与拼接后图像的经度差和缔度差，如果其差异小于或等于0.0001， 则判定拼接的地理信息正确。
[0104] 实施例
[0105] 本实施例包含w下处理步骤：
[0106] 1、将地理信息与图像一同读入内存，即可获得待拼接的图像和存储有经缔度信息 的矩阵，并将地理信息存储在2维双精度浮点矩阵中。为了便于图像处理及利用图像处理函 数，地理信息矩阵使用xml结构存储，并xml.gz格式存储为图像同名地理信息文件。双通 道地理信息矩阵存储结构如图1所示，.xml. gz文件是.xml文件的压缩格式，其xml文件结构 如下所示：
[0107： 'b、、'-s、-
[0108] 2、为了提高算法的计算速度，可w使用所有处理器核屯、进行拼接，系统自动对拼 接的图像进行分批，每个处理器核屯、处理一批图像。多线程拼接过程如图2所示。
[0109] 每线程最多处理的图像数计算方法为：
[0110]
[0111] 其中，n为每线程最多处理的图像数，n为图像总数，xi为重叠图像数(0《xi《n-l， 取xi = i), t为线程数。例如，20幅图像采用8线程处理，若对每一幅图像按拼接顺序编号为0 ~19,每个cpu线程编号为0~7,则按上述公式计算的n = 4图像与cpu分配关系如表1所示：
[0112] 表1图像与cpu分配关系示例 rni "1
[0114] 多线程与单线程拼接性能对比如表2所示。
[0115] 表2多线程与单线程拼接性能对比
[0116]
[0117] 3、0rb算法是基于ofast(orientationfast)关键点检测和rbrief(rotation- aware brief,旋转敏感的brie巧特征检测的一种新型特征提取方法。orb的计算方法如下：
[0118] (1)对图像构建金字塔，对每个图像都进行步骤(2)(3)处理；
[0119] (2)用fast算法检测关键点的位置；
[0120] (3)对于关键点用化rris角点检测，选取响应值最大的化个特征点；
[0121] (4)对于每个角点，根据intensity centroid算法，计算角点的方向，即得到ofast 特征；
[0122] (5)由于brief算法是无向的，将(4)中计算出来的角点方向作为brief的方向，进 行旋转，就得到了有向的brief,并用贪婪学习算法筛选出具有高方差和高不相关的有向 服ief，称之为巧rief;
[0123] (6)0rb特征就是ofast和巧rief的组合。
[0124] 基于orb特征的航拍影像及地理数据图像拼接流程图如图3所示。
[0125] 4、根据任意两幅图的匹配和单应性矩阵，对相机参数进行初始化估计，并求出旋 转矩阵。使用最近邻和次近邻方法(最近邻匹配距离与次近邻匹配距离的比值小于一定的 阔值，即认为特征点匹配，否则为不匹配)对任意图像进行特征点的匹配，并删除置信度低 (即认为不是同一个全景图中的）图片。当找到可w拼接的两幅图片后，将其合并到一个拼 接集合中，然后扩展运个集合就可w得到最大的可拼接集合。并查集是一种树型的数据结 构，用于处理一些不相交的集合(disjoint sets)的合并及查询问题，即将属于相同集合的 元素合并起来。单应性矩阵中包含着相机的内参数矩阵、旋转向量和平移向量，通过单应性 矩阵，两个待拼接图像的特征点的关系可w计算出来。
[0126] 5、由于多个单应性矩阵合成全景拼接图像时会造成累积误差，每个图像都要加上 光束法平差值，w初始化图像为相同的旋转和焦距长度。使用bundle adjustment光束法 平差)算法对所有图片进行相机参数校正，w提高估计精度。光束法平差具有鲁棒性，其目 标函数是一个映射误差的平方和函数。即每一个特征点都要映射到其他的图像中，使计算 出的相机参数的误差的平方和最小。
[0127] 6、根据相机参数w及旋转矩阵，对图像进行单应性矩阵变换，对图像进行初始拼 接。地理信息矩阵也使用对应图像的单应性矩阵进行变换，w对地理信息进行拼接。地理信 息跟随图像进行相同的单应性矩阵变换，保证了变换后的图像有相同的地理信息。同时，由 于经度范围为-180度到180度，缔度范围为-90度到90度，在插值变换时需要注意地理信息 不能超出有效范围。
[0128] 7、对拼接后的图像进行亮度的增量补偿w及基于图像金字塔的多波段融合。对拼 接后的地理信息进行有条件的插值融合。如果在拼接过程中，其中一幅图像全部或部分区 域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为 拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经缔度相差不大（小于0.0002 度），则取两者的平均值作为拼接图像的经缔度;如果拼接的两幅图像在融合点处的经缔度 相差很大，则认为算法拼接失败。
[0129] (1)对重叠区域进行分块估计平均光强；
[0130] (2)用最大流方法检测图像重叠区域之间的缝隙；
[0131] (3)进行多波段融合，将原图像分解成多个不同空间分辨率、不同尺度的子图像构 成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像。
[0132] (4)对拼接后的地理信息进行有条件的插值融合。
[0133] 地理信息拼接结果如图4和表3所示，其中，msk[957] :lat = 45.3285，lon = - 68.8998表示拼接后图像中第957个sift匹配点的缔度为北缔45.3285度，经度为西经 68.8998度。
[0134] 表3图4所示图像部分拼接地理信息结果验证比较
[0135]
[0136]
[0137] 8、对每一个处理器核屯、处理的拼接结果进行一次综合拼接融合，w合并形成拼接 结果图像。百幅图像拼接结果如图5所示。
[0138] 9、基于sift特征点对拼接后的地理信息进行验证。使用拼接前的图像与拼接后的 图像进行sift特征匹配，用ransac算法选出匹配度高的特征点。并比较拼接前和拼接后特 征点地理信息的差异，如果其差异小于等于0.0001，则认为拼接的地理信息正确。其验证结 果如表3所示，其中〇'邑[957]:1曰1 = 45.3285，1〇11 = -68.8998表示未拼接图像中第957个 sift匹配点的缔度为北缔45.3285度，经度为西经68.8998度，msk[957]: iat = 45.3285，ion = -68.8998表示拼接后图像中第957个sift匹配点的缔度为北缔45.3285度，经度为西经 68.8998度，经缔度差值位0;而第963个点拼接前经缔度为北缔45.3224度，西经68.8755度， 拼接后经缔度为北缔45.3224度，西经68.8754度，其经度差值为0 . oool，在有效误差范围 内。
[0139] 本发明提供了一种基于orb特征匹配的航拍影像及地理数据拼接方法，具体实现 该技术方案的方法和途径很多，w上所述仅是本发明的优选实施方式，应当指出，对于本技 术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可w做出若干改进和润饰， 运些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有 技术加 w实现。
【主权项】
1. 一种基于orb特征匹配的航拍影像及地理数据拼接方法，其特征在于，包括以下步 骤： 步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维双精 度浮点矩阵中，其中地理信息包含经度和炜度信息； 步骤2，计算机基于计算机的处理器逻辑核心数计算任务分配数，对处理器进行任务分 配； 步骤3，提取待拼接图像的orb特征； 步骤4,根据任意两幅待拼接图像的匹配与这些匹配计算出的单应性矩阵，对拍摄待拼 接图像的相机的参数进行初始化估计； 步骤5,用光束法平差提高估计精度;使用bundle adjustment光束法平差算法对所有 待拼接图像进行相机参数校正，以初始化所有待拼接图像为相同的旋转和焦距长度； 步骤6,根据相机参数以及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接图像 的初始拼接;对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩阵进 行矩阵变换，完成对地理信息的拼接； 步骤7,对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼 接后的地理信息进行有条件的插值融合，得到拼接结果图像； 步骤8,对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形 成最终结果图像。2. 根据权利要求1所述的方法，其特征在于，步骤1中所述二维双精度浮点矩阵使用xml 结构存储。3. 根据权利要求2所述的方法，其特征在于，步骤2中，计算机将任务分配给每个处理 器，采用如下公式计算处理器每线程最多处理的待拼接图像数并进行任务分配：其中，η为处理器每线程最多处理的待拼接图像数，n为待拼接图像总数，x1为重叠图像 数，0彡xi彡n-i，t为线程数，n彡2。4. 根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤： 步骤3-1，对待拼接图像构建金字塔； 步骤3-2,用fast加速分割测试特征算法检测关键点的位置，关键点即角点，角点为邻 域内具有两个主方向的特征点； 步骤3-3，对关键点用harr i s角点检测，从中选出harr i s角点响应值最大的n1个特征点， 其中harris角点的响应函数r定义为：i为图像像素灰度值，ix为图像x方向的偏导数，iy为图像y方向的偏导数，w为加权函数， detm为矩阵m的行列式，tracem为矩阵m的直迹，α为常数； 步骤3-4,对于选取的ni个角点，根据intensity centroid强度中心算法计算角点的方 向，即得到ofast特征； 步骤3-5，将步骤3-4中计算出来的角点方向作为brief的方向进行旋转，得到有向的 brief，用贪婪学习算法筛选出具有高方差和高不相关的有向brief，称之为rbrief; 步骤3-6，将ofast和rbrief组合得到orb特征。5. 根据权利要求4所述的方法，其特征在于，步骤4包括:使用最近邻和次近邻方法对任 意两幅待拼接图像进行特征点的匹配:最近邻匹配距离与次近邻匹配距离的比值小于一定 的阈值，即认为特征点匹配，否则为不匹配，并删除置信度低的图像，即删除不是同一个全 景图中的图像，当找到可以拼接的两幅图像后，将其合并到一个拼接集合中，扩展这个集合 得到最大的可拼接集合;单应性矩阵中包含旋转矩阵ro和平移列向量to，通过单应性矩阵的 限制条件估算相机内参数矩阵： 如果两幅图像所对应的摄像机坐标之间的变换为(ro，to)，其中ro = (η，γ2，γ3)，（r 1，γ2， γ3)为组成旋转矩阵ro的三个列向量，（ro，to)是世界坐标系到摄像机坐标系之间的刚体变 换，摄像机内参数矩阵为k，n〇是空间平面在世界坐标系下的法向量，符号~表示在相差一 个常数因子意义下的相等，空间平面上的点x 2=[a，b，c]t到图像平面上的点m之间的映射关 系，即：a，b，c为点x2的空间坐标，空间平面在世界坐标系下的方程为n〖x2=l，贝幌幅图像对应 点m:分職f之间的单应性矩阵为：m和m'分别为两幅图像平面坐标上的点，当单应性矩阵h已知时，从h得到关于摄像机内 参数矩阵k的两个线性约束方程，由于h= (iuh2ii3)~!((rmto)，（iuh2ii3)为组成矩阵h的三个 列向量，所以~(rinto);又由于ri tr2 = 0, |ri| = |n|，对摄像机内参数矩阵k得 到如下两个约束： h, 7k7k lii7 = o ：, h, k k iil =h: k k 1h2, 其中，aspect = 1 · 0，ppx和ppy分别赋值为图像中心点横坐标值和纵坐标值，f为焦距， 求取焦距中值或平均值作为所有图像的焦距初始化估值。6. 根据权利要求5所述的方法，其特征在于，步骤7包括如下步骤： 步骤7-1，对拼接后的图像的重叠区域进行分块估计平均光强； 步骤7-2,用最大流方法检测图像重叠区域之间的缝隙； 步骤7-3,进行多波段融合:将待拼接图像分解成两个以上不同空间分辨率、不同尺度 的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像； 步骤7-4,对拼接后的地理信息进行有条件的插值融合：如果在拼接过程中，其中一幅 图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已 知的地理信息作为拼接后图像的地理信息;如果拼接的两幅图像在融合点处的经炜度相差 小于0.0002度，则取两幅图像在融合点处的经炜度的平均值作为拼接图像的经炜度;如果 拼接的两幅图像在融合点处的经炜度相差大于或等于〇. 0002度，则判定为拼接失败。7.根据权利要求6所述的方法，其特征在于，包括步骤9，基于sift特征点对最终结果图 像进行验证:使用拼接前的图像与拼接后的图像进行sift特征匹配，用ransac随机抽样一 致算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较 sift匹配点之间拼接前与拼接后图像的经度差和炜度差，如果其差异小于或等于0.0001， 则判定拼接的地理信息正确。
【文档编号】g06t3/40gk106023086sq201610529983
【公开日】2016年10月12日
【申请日】2016年7月6日
【发明人】梁中岩, 郭乔进, 许建, 程晓光, 周鹏飞, 刘婧婷, 祁骏, 胡杰, 陈文明, 孟剑萍
【申请人】中国电子科技集团公司第二十八研究所