学术交流 线特征束缚的修建物密布匹配边际大局优化办法

发布时间:2022-06-05 06:31:41 | 作者:环球体育竞猜

  重视《测绘学报》大众渠道,及时把握测绘地理信息范畴前沿信息,随时随地阅读优异学术论文,为您供给一个高水准的学术交流渠道。

  立体印象密布匹配技能常用固定窗口来寻觅同名点,并依据同名光线对对相交的原理,核算出方针的三维信息,具有本钱低、分辨率高、重建规模大等优势。可是,在修建物边际区域,因为遮挡等要素影响,固定匹配窗口的匹配精度往往较低,且会对修建物边际进行必定程度上的外扩。为了获取高精度的修建物边际重建成果,本文提出了一种依据线特征的修建物边际大局优化办法。该办法首要将密布匹配成果中的视差/高程阶跃区域的线特征界说为修建物的边际,然后假定部分灰度邻近的像素,其视差/高程往往也是邻近的束缚,来大局优化每一条修建物边际。该算法的首要奉献在于,将修建物边际优化问题,转化为一个新的大局能量函数的最优解核算问题,可以在优化修建物边际的一起,保存修建物邻近的地势地貌,不只处理了部分边际锐化算子无法处理较大边际误匹配的问题,而且处理了最新的缓冲区大局优化算法强行抹平地上的问题。本文选用航空数据集和卫星数据集进行实验。实验成果表明:本文算法显着优于现在部分边际锐化算子和依据平面拟合的边际优化算法,可以有用削减修建物边际的误匹配像素。因而,本文所提出的依据直线束缚的修建物边际大局优化办法可以用于一些三维重建场景,如:虚拟现实、才智城市、修建物提取等。

  关键词 :线特征检测算子;图割优化;立体印象密布匹配;修建物边际优化;依据图画引导滤波

  立体印象密布匹配是在立体印象中,逐像素或许挨近逐像素地寻觅两张印象之间的同名点,并依据同名光线对对相交的原理,生成三维点云的进程[1]。立体印象密布匹配具有点云密度大、匹配成果安稳、本钱低一级杰出优势,因而可以广泛使用于一些智能3D场景,如:测绘制图、改动监测、国防军事、才智城市、无人驾驶、虚拟现实、游戏动画、抢险救灾等[2-6]。

  立体印象密布匹配常选用固定匹配窗口来核算和比较同名点之间的特征类似性,其根本假定是部分匹配窗口内,一切像素的视差均一起。该假定在大部分场景下适用,可是在修建物边际区域,因为存在显着的视差/高程阶跃改动,该假定无法树立。在修建物边际区域,固定匹配窗口会带来较大的匹配歧义性,然后下降修建物边际的匹配精度,详细体现为:修建物边际不规则,修建物边际外扩等问题,如图 1所示。图 1(a)、(c)表明原始印象。图 1(b)、(d)表明对应的立体印象密布匹配成果。图 1(a)、(c)中赤色的线(b)、(d)中白色的线是对应的修建物直线边际特征。其间,密布匹配算法选用闻名的半大局密布匹配算法(semi-global matching, SGM)[7-8],匹配特征算子选用Census[9],匹配窗口巨细为9×9像素。从图 1可以看出,SGM密布匹配算法的匹配成果,在修建物边际区域存在显着的外扩问题,然后影响后续修建物的三维重建精度。除了SGM算法以外,其他依据固定匹配窗口的大局/半大局密布匹配算法,也存在相同的问题[10-13]。除了固定匹配窗口要素以外,匹配常用的视差滑润束缚,相同也是边际外扩的要素之一。图1 密布匹配算法在修建物边际区域的匹配成果

  为了获取高精度的修建物边际,现在首要有两种处理方案。第1种办法是在密布匹配进程中参加线特征束缚或许面特征束缚,削弱修建物边际处的匹配歧义性,然后进步修建物边际处的匹配精度[14-15]。这类办法往往可以取得比传统SGM更高的匹配精度,可是这些办法的线、面特征束缚是依据本身算法的实践状况来定制规划的,不必定适用于其他密布匹配办法,比方,文献[14]选用动态规划思维来优化密布匹配成果,并选用印象线特征来自习惯调整动态规划方程中的赏罚项系数,以进步边际处的密布匹配精度;可是关于不含赏罚项系数的密布匹配办法(如:依据最小生成树的密布匹配办法[16],依据深度学习的密布匹配办法[17]),是无法运用这类线特征束缚。此外,现在测绘单位和地理信息渠道存储很多数字外表模型产品(digital surface model, DSM),第1种办法只能用于出产新的DSM,无法对现有DSM产品进行边际优化。第2种办法是通过后处理的办法,直接对密布匹配视差图或许DSM中的修建物边际进行优化。这类后处理的办法,要么考虑灰度特征散布和实践视差/高程散布之间的相关性,批改一切像素的视差/高程,使其与对应的印象灰度散布近似,然后到达边际优化的意图;要么从印象中提取的线特征或许面特征,并批改视差/高程边际,使其与印象线特征或面特征尽量挨近。因而,通过后处理来优化边际的办法可以分为两类:①依据灰度特征散布的边际锐化算法;②依据线面特征的优化算法。

  大多数依据灰度特征散布的边际锐化算法通过部分窗口内的灰度特征,来改进视差/高程,然后也称为部分边际锐化算法[18-24]。该类算法假定在部分窗口内,灰度类似的像素,其视差/高程也是一起的。因为修建物边际往往也是灰度阶跃的边际,因而可以选用这类部分边际锐化算子进行滤波,通过灰度散布来从头调整修建物边际,然后取得愈加精密的修建物边际。可是受限于窗口巨细,该类部分锐化算法很难改正修建物边际处一些较大的误匹配。为了处理边际处较大误匹配的问题,需求从愈加大局的视点来批改修建物边际,也称为大局边际锐化算法[25-26]。该类算法假定整张印象中,相邻且灰度类似的像素,其视差/高程应该尽量挨近,然后将视差/高程优化问题转化为大局能量函数的最优解核算问题。大局边际锐化算法可以有用优化修建物边际,可是因为印象纹路(非边际区域)也具有灰度阶跃特性,因而在印象纹路区域简单呈现“锐化”假象。

  依据线面特征的优化算法首要从印象中提取线、面等几许特征,然后改正修建物边际的视差/高度,使得边际特征与印象的几许特征相符。文献[7]通过印象切开算法,提取印象中的面特征,并将每个面特征作为一个视差平面进行优化,然后到达改进边际的意图。可是,过大的面特征不必定满意视差平面假定,或许导致匹配精度下降。文献[27]进一步选用直线特征提取算子(line segment detector, LSD)来提取修建物的边际,并假定边际特征邻近的部分区域满意平面束缚,然后完成边际优化。该办法核算功率高,可是因为只考虑直线邻近区域的视差/高程优化,简单导致与直线区域以外的像素之间的视差/高程开裂,而且简单将直线邻近区域的地势地貌强行抹平。文献[28]通过平移边际邻近的像素,来改进修建物边际,其本质是放弃直线边际邻近的一切视差/高程,然后以直线边际为中心,别离使用边际以外的修建物视差/高程信息和地上视差/高程信息,向中心边际进行内插。可是,该办法相同会将修建物边际邻近的地物抹平。文献[12]核算边际像素的视差和匹配价值,通过取最小价值的视差,来优化边际。文献[29]通过超像素切开来确认物体边际,并通过加权中值滤波来优化物体边际。

  为了处理部分边际锐化算法难以处理较大误匹配的问题,并处理依据线面特征优化算法强行抹平邻近地物的问题,本文提出了一种依据直线特征束缚的修建物边际大局优化办法,可以在处理较大的修建物边际差错的一起,保存修建物邻近的地物。该办法的奉献在于,将修建物边际优化问题,转化为一个新的大局能量函数的最优解核算问题,并选用图割算法进行大局最优核算。大局能量函数由价值项和正则项两部分组成。考虑到保存修建物边际邻近的实践地物,价值项的规划首要依据估量视差/高程与原始视差/高程之间的间隔,以及该像素的视差/高程置信度来一起决议的。正则项的规划,则是依据灰度邻近的相邻像素,其视差/高程也是类似的原则来规划。本文所提出的修建物边际优化办法,可以有用改正修建物边际的误匹配问题,处理修建物边际外扩的问题,终究重建高精度的修建物三维边际。

  本文要点处理密布匹配中,修建物边际精度较低的问题。详细流程如图 2所示。算法的输入是原始核线(a)所示),或许正射印象和对应的DSM,其间,图 2(a)中视差图的视差规模是34像素至96像素。首要,选用直线],来检测并提取修建物的边际,如图 2(b)所示,赤色、白色的线别离表明选用LSD算法检测和提取的修建物边际。两条边际线均坐落房顶边际。然后,别离优化每一条直线特征,将直线特征的优化问题转化为大局能量函数最优解的核算问题。大局能量函数共有价值项和正则项两部分构成,如图 2(c)所示。其间,价值项的核算是依据估量视差/高程与原始视差/高程之间的间隔Δd,当时像素与修建物边际之间的间隔s等要素,来一起决议的。Δd越小、s越小,则价值越小,反之则越大;正则项的核算,则是依据灰度邻近的相邻像素,其视差/高程也是类似的原则来规划。大局能量函数的详细办法,如1.2节式(1)所示。图 2(c)中的3个蓝色的圆形表明边际邻近的3个像素,黑色的连接线表明大局优化中的视差滑润束缚,线越粗表明束缚越强。灰度邻近的像素之间的束缚较强,然后在后续大局优化中鼓舞他们的视差/高程一起,反之,则灰度差异较大像素之间的束缚较小。终究选用图割算法求解整型最优解,并选用依据图画引导滤波的办法取得接连最优解。图2 本文算法流程

  本文选用LSD算子来检测和提取印象的直线特征。可是,受地物纹路、暗影等要素的影响,选用LSD算子提取的直线特征,大部分不归于修建物的边际。考虑到修建物边际的视差/高程阶跃特性,本文选用线]来从LSD直线特征中,进一步提取修建物的边际。详细流程为:①首要,选用LSD算子检测印象的直线(b)所示;②以每一条直线为中心,树立缓冲区,核算直线两头的视差/高程状况;③假如直线坐落视差/高程的阶跃区域,则作为修建物的边际,提取出来,如图 3(c)所示。本文算法本质以直线边际为根本单元,优化直线边际邻近的高程/视差。因而,除了文献[27]提出的依据缓冲区的直线边际提取办法之外,其他可以提取直线边际的办法,相同适用于本文算法,如手动提取直线 修建物边际检测成果

  提取出修建物边际的直线特征之后,本文别离对每一条边际直线特征进行优化。本文算法的中心思维是改动边际直线邻近像素的视差/高程,然后使得改正后的视差边际/高程边际与印象的边际直线尽量挨近。因而,首要需求寻觅边际直线邻近的像素。本文选用“内/外缓冲区”的思路,来核算边际直线所示。白色直线表明修建物的边际直线。赤色方框表明内缓冲区。本文算法通过改动内缓冲区内一切像素的视差/高程,使得视差/高程边际与印象边际尽量挨近。蓝色方框表明外缓冲区。外缓冲区内像素的视差/高程是不做任何改动的。外缓冲区的作用有两个:①本文选用固定窗口来核算能量函数的价值项,因而,在核算价值项的进程中,会有一部分价值窗口超出内缓冲区的规模。超出的部分可以选用外缓冲区来核算。详细价值核算详见1.2.1末节。②传统的图割算法只能供给整型最优解,因而,在内缓冲区和外缓冲区之间,存在显着的视差/高程开裂。在后续接连最优解核算进程中,将考虑外缓冲区的像素,使得表里缓冲区之间的鸿沟滑润过渡。外缓冲区的半径rout设置为价值窗口的一半。考虑到立体印象密布匹配窗口一般选用9×9窗口[31-32],本文将内缓冲区半径rin设置为10。图4 边际直线的内/外缓冲区

  在核算边际直线邻近的像素之后,本文通过改动内缓冲区中像素的视差/高程,来到达边际优化的意图。全体来说,本文的边际优化原则包括两个方面:①优化后的视差/高程,与原始视差/高程尽量挨近;②相邻且灰度邻近的像素,其视差也是类似的。依据上述两个原则,可以将视差边际优化问题,转化为大局能量函数的最优解核算问题,如式(1)所示(1)

  式中,D表明内缓冲区中一切像素的估量视差/高程的调集;E(D)表明大局能量函数的方针函数值;Bin表明内缓冲区一切像素的调集;p表明内缓冲区中的恣意一个像素;Cost(p, d)表明像素p对应于视差/高程d的价值,是依据估量视差/高程与原始视差/高程之间的间隔来核算,详见1.2.1末节介绍;Sc(p)表明像素p的置信度,表明像素p的价值核算的可靠性,用于下降误匹配点的价值权重,详细详见1.2.1末节介绍;N表明一切邻域像素的调集;q表明p的邻域像素;dp、dq表明像素p、q的估量视差/高程;σ表明截断值,用于界说视差阶跃条件的阈值;P表明赏罚项系数;wc(p, q)表明依据像素p、q的灰度差,核算出来的权重,一般灰度差越小,权越大;we(p, q)表明依据像素p、q的方位,界说的权重。假如p、q坐落直线边际的同一侧,则权we为1,不然,权we为0。we用于制止直线两头的优化成果相互影响,然后可以取得愈加锋利的边际。本文将能量函数式(1)中的第1项称为价值项,将第2项称为正则项。价值项和正则项的详细介绍,详见1.2.1末节和1.2.2末节。

  大多数算法[7, 27-28]选用平面模型来改动边际直线邻近的视差/高程,因而,会强行删掉边际直线邻近的实践地物。为了处理这个问题,本文将估量视差/高程与原始视差/高程之间的间隔,作为价值核算的一个依据。当间隔越小,则价值越小;反之,间隔越大,则价值越大,然后尽或许地保存直线邻近的实践地物,如式(2)所示

  式中,dp0表明像素p的原始视差/高程;σ表明截断值,首要依据视差阶跃条件来界说,本文一切实验中均界说为2。式(2)终究除以σ,然后确保一切像素的价值坐落[0, 1]之间。

  可是,原始视差/高程相同存在必定的误匹配问题,单纯选用上述间隔测度核算的价值,有或许在优化中将误匹配点也保存下来了。因而,本文界说了视差/高程置信度原则,用于衡量内缓冲区中每个像素是正确匹配点的概率。置信度越高则表明正确匹配点的概率越大,则在后续大局优化中的权重越大;反之,则权重越低。本文界说了两种置信度原则:第1种是像素间隔边际直线的间隔,考虑到匹配边际的外扩问题,间隔越近则是正确匹配点的概率越小,间隔越远则是正确匹配点的概率越大;第2种是像素与周围灰度邻近像素之间的视差/高程差异,差异越小则是正确匹配点的概率越大,差异越大则是正确匹配点的概率越小。因而,综上两个原则,置信度的核算如式(3)所示

  式中,dise(p)表明像素p到边际直线之间的间隔;rin表明内缓冲区半径;dp0表明像素p的原始视差/高程;dp表明像素p周围灰度邻近像素的视差/高程的均值,本文选用双方滤波算法核算得到[23-33],滤波窗口巨细为7×7像素。Sc用于削减误匹配点在后续大局优化中的权重,然后便于依托周围的正确匹配点来改正误匹配点的视差/高程。

  能量函数的正则项用于对缓冲区内的一切像素引进视差/高程滑润束缚。相邻像素的灰度越挨近,则视差/高程滑润束缚越强,然后在可以改正边际直线邻近的误匹配点的一起,尽或许多地保存缓冲区内的细节信息。总的来说,本文界说的正则项与3个要素有关:①相邻像素的灰度差;②相邻像素是否坐落直线的同一侧;③相邻像素的视差/高程差异。

  相邻像素灰度越挨近,则正则项的视差/高程滑润束缚越强。因而,本文选用高斯核函数来界说相邻像素之间的灰度挨近程度,如式(4)所示

  式中,Ip、Iq别离表明像素p、q的灰度;σc表明与灰度相关的高斯核函数滑润因子,本文取10。当像素p、q之间的灰度越挨近,灰度权wc越挨近1。

  考虑到有些状况下,边际直线两边的灰度差异较小。在这种状况下,灰度权wc会较大,然后导致边际直线两边的视差/高程滑润过渡,下降边际直线的锋利程度。因而,为了确保优化后的视差/高程边际,与印象边际直线特征尽量挨近,本文制止直线两边像素之间的正则滑润束缚,如图 5所示。其间,白色直线表明修建物直线边际;蓝色圆圈代表缓冲区内的像素;黄色线表明相邻像素之间的正则项,线的粗细表明正则项滑润束缚的巨细;赤色线框表明内缓冲区。在本文算法中,只要坐落同一侧的相邻像素才有正则项的滑润束缚。图5 正则项滑润束缚暗示

  假如相邻像素归于同一侧缓冲区,则需求引进正则项滑润束缚,将正则项中的同侧权值we(p, q)界说为1;反之,则界说为0,如式(5)所示

  本文选用图割算法[34],获取大局能量函数(式(1))的最优解。可是,传统的图割算法只能取得整型最优解,然后导致缓冲区内的像素弛缓冲区外的像素呈现细微的视差/高程开裂,如图 6(a)所示。其间,白色的线表明印象上的边际直线特征;赤色的线是剖分图轨道,对应于右侧的折线剖分图。为了取得接连解,需求归纳考虑外缓冲区像素的视差/高程,对内缓冲区像素进行滑润滤波。为了确保滤波后的视差/高程边际的几许精度不受影响,本文选用保边滤波算子(如依据图画引导的滤波[22]),来对缓冲区内的像素进行滑润滤波。考虑到一些房子的房顶与地上的灰度差异不是特别显着,即便选用保边滤波算子,也无法在滤波进程中坚持修建物边际的尖利性。因而,本文以边际直线特征为鸿沟,别离对边际直线两边进行滤波。当有滤波窗口中的像素超出边际直线时,超出部分的像素不参加滤波核算,如图 6(a)所示。图 6(a)中的绿色方格表明当时需求滤波的像素;蓝色方格表明周围的8邻域像素。其间,最右侧的3个方格超出边际直线个方格不参加滤波核算。图6 接连最优解核算暗示

  依据图画引导的滤波[22]是一种高效的保边滑润算子,其间心思维是将部分窗口内的像素视差/高程进行加权均匀。窗口内每个像素的权值巨细取决于部分视差和灰度之间的线性模型。因为视差/高程边际往往也是灰度边际,因而依据图画引导的滤波具有很好的保边性质。本文选用依据图画引导的滤波算子,来进一步改进内缓冲区中的整型视差/高程。在滤波进程中,外缓冲区中的像素相同参加核算,然后可以为内缓冲区视差/高程的优化供给鸿沟束缚。依据图画引导的滤波算子的界说如式(6)所示(6)

  式中,d′p表明通过滑润滤波后的接连解;Bin表明内缓冲区一切像素的调集;Bout表明外缓冲区一切像素的调集;Wp表明以p为中心的滤波窗口;w(p, q)表明像素p、q之间的权值,其核算办法依然沿袭文献[22]的办法,通过部分视差和灰度之间的线性模型来取得。

  本文别离选用航拍立体像对数据集和卫星立体像对数据集,从定量和定性两个视点来剖析本文算法的正确性和有用性。其间,航拍立体像对数据集包括International Society for Photogram-metry and Remote Sensing(ISPRS)供给的Vaihingen航拍数据集和Toronto航拍数据集;卫星立体像对数据集包括约翰斯霍普金斯大学和IAPRA供给的杰克逊维尔区域的WorldView-3卫星印象数据集和对应的激光点云(LiDAR)DSM。

  该部分实验首要测验视差图中修建物边际的优化作用。其间,Toronto数据集由Microsoft Vexcel’s UltraCam-D(UCD)相机拍照,印象巨细为2000×2000像素,地上分辨率为15 cm;Vaihingen数据集由Intergraph/ZI DMC相机拍照,印象巨细为2000×2000像素,地上分辨率为8 cm。两个数据集共由9个立体像对组成。每个立体像对均重采样成核线印象,并选用SGM半大局密布匹配算法[8]核算对应的视差图,并选用左右一起性检测除掉误匹配点,然后再进行视差内插。详细测验数据集和对应的原始视差图如图 7所示。图 7的上半部分表明原始核线印象,下半部分表明SGM密布匹配成果。一切立体像对均包括较密布的房子,而传统的密布匹配算法在这些修建物的边际区域的匹配精度较差。图7 航拍数据集与SGM密布匹配视差

  选用本文算法,最常用的双方滤波算法和加权中值滤波算法,别离对SGM密布匹配成果进行边际优化,并对各个算法的边际优化成果进行功能点评、比照和剖析。其间,双方滤波算法[33]和加权中值滤波算法[24]均假定间隔邻近且灰度邻近的像素,其视差应该是一起的。因为修建物边际往往也是灰度阶跃的印象边际,因而,两种办法均能对修建物边际的匹配成果进行优化,而且现已广泛使用于一些立体印象密布匹配算法中[13, 35]。为了与本文算法的参数尽量挨近(缓冲区半径为10),双方滤波和加权中值滤波两种办法均选用11×11的滤波窗口。因为本文算法只是优化修建物的边际,因而,本文仅在提取的修建物边际区域(1.1节介绍的办法)别离点评3种办法的边际优化成果。因为修建物边际的误匹配,绝大多数是因为修建物外扩导致的,因而,本文依据直线缓冲区对应地上那一侧内的误匹配点数目,来点评各种算法的优化功能,如图 8所示。其间,白色直线表明修建物边际;黄色像素表明误匹配点;蓝色像素表明正确匹配点;赤色方框表明直线的缓冲区。本文依据图 8中的黄色像素和蓝色像素数目,来归纳点评边际优化算法的功能。图8 本文算法精度点评暗示

  总的来说,优化后的边际区域(对应地上的部分)应该包括尽量少的修建物边际像素(图 8中的黄色像素),以及尽量多的地上点像素(图 8中的蓝色像素)。令Serror表明修建物边际误匹配像素的调集,Scorrect表明缓冲区对应地上区域的正确匹配点调集。本文将直线缓冲区对应修建物的那一侧中,一切像素视差/高程的均值dhigh作为基准,当地上那一侧像素的视差/高程与dhigh之间的间隔小于阈值,则认为是误匹配点,放入Serror调集中;不然,放入Scorrect调集中。在本文一切实验中,该阈值都是依据直线缓冲区两边视差/高程的均值,取肯定差值,再除以一个固定的系数(如:3)来自习惯决议。本文别离选用两种测度来归纳点评不同算法的功能:①地上上误匹配点的百分比;②地上上一切像素的方差,别离如式(7)和式(8)所示

  式中,表明调集中一切元素的数目;perbad表明误匹配像素百分比。perbad越小,表明边际优化作用越好

  式中,dlow表明直线缓冲区对应地上那一侧一切像素的视差均值;σlow表明对应地上区域的方差(也叫中差错)。σlow越小,表明边际优化精度越高。

  选用本文优化算法,双方滤波和加权中值滤波,别离对图 7中9个立体像对的SGM密布匹配成果进行边际优化,并选用式(7)和式(8)两个测度,别离对原始匹配成果、本文优化算法成果、双方滤波成果和加权中值滤波成果进行功能鉴定。鉴定成果如图 9(a)和(b)所示。图9 航拍数据集不同办法的功能比照成果

  由图 9可以看出,在两种功能鉴定测度中,本文算法、双方滤波办法和加权中值办法均可以进步修建物边际的匹配作用。在差错像素百分比测度perbad中,原始视差图的误匹配点百分比为25.53%,加权中值办法均匀可以将修建物边际的误匹配像素百分比削减到20.04%,双方滤波办法均匀可以将误匹配像素百分比削减到14.21%,而本文算法均匀能将误匹配像素百分比削减到9.12%。在方差测度σlow中,原始视差图修建物边际区域的方差均匀为5.86像素,加权中值办法均匀可以将方差削减到5.48像素,双方滤波办法均匀可以将方差削减到4.34像素,而本文算法均匀能将方差削减到3.63像素。全体来说,本文算法在两种测度中的全体体现均是最好的。详细到每个立体像对的边际优化成果鉴定中,本文算法在9个像对中的体现,相同也都是最好的。这是因为双方滤波办法和加权中值办法,均是选用部分窗口,用于优化的信息较少;而本文办法用到了边际直线缓冲区内的一切信息,并进行大局优化,然后优化作用更好。为了更全面地点评本文算法的功能,本文以第1对核线立体印象密布匹配的边际优化成果为例,列出一些优化前后的修建物边际匹配成果的比照,以及对应的修建物剖面图,如图 10所示。图10 本文算法的边际优化作用

  在图(a)展现了原始印象、原始视差图和本文算法优化后视差图的缩略图成果。因为修建物边际的误匹配像素往往只要几个像素的差错,因而,在缩略图中看不出太显着的改动。为了进一步展现本文算法的作用,本文选择了3个红框所示的区域,并扩大显现,如图 10中(b)图—(d)图所示。在图 10(b)图—(d)图的一切原始印象中,赤色直线表明提取的印象直线边际;一切原始视差图中,白色直线表明提取的印象直线边际,赤色直线表明修建物剖面图轨道,对应最右侧的剖面图,用于查看优化前后的修建物边际改动。剖面图中,赤色的线表明原始视差图边际;绿色的线表明通过本文算法批改后的边际;蓝色的线表明印象直线边际。印象直线边际与地上之间的视差差异,首要是依据印象边际直线的方位,及其缓冲区两边均匀视差所一起决议的。原始SGM密布匹配成果,其修建物边际间隔印象直线边际会外扩若干个像素,然后下降修建物边际的三维重建精度。本文算法可以高精度地将修建物边际批改到印象直线(a)中,本文算法批改后的边际,与印象直线边际彻底重合,而在图 10(b)、(c)中,本文算法批改后的边际,只是与印象直线个像素,然后充分阐明本文算法的正确性和有用性。

  该部分实验首要测验DSM中修建物边际的优化作用。其间,WorldView-3卫星数据集一共包括4个立体像对,空间分辨率为0.3 m,像对堆叠区域约为0.5 km2。激光点云DSM的空间分辨率为0.5 m,规模约为0.1 km2。首要,将每个立体像对重采样成核线印象,选用SGM半大局密布匹配算法[8]核算对应的视差图,并选用左右一起性检测除掉误匹配点;然后依据视差图出产对应的DSM,并进行DSM内插。为了便于使用激光点云DSM来点评精度,每个卫星立体像对DSM和正射印象均切开成与激光点云DSM相同的规模,并将两者的空间分辨率重采样成0.5 m。详细测验数据集、对应的原始DSM和激光点云DSM如图 11所示。图 11的上半部分表明卫星正射印象,下半部分表明立体像对DSM和激光点云DSM。图11 卫星数据集与对应的数字外表模型

  选用本文算法和依据缓冲区平面模型的修建物边际批改办法(plane based boundary refinement, PBR)[27],别离对图 11中的4组原始DSM进行边际优化,并以激光点云DSM作为高程真值,对各个算法的边际优化成果进行功能点评、比照和剖析。其间,依据缓冲区平面模型的修建物边际批改办法(PBR)[27]假定缓冲区内的高程/视差满意平面束缚,通过核算缓冲区内的平面方程,来优化修建物的边际。因为两种算法均只是优化修建物的边际,因而,本文只是在提取的修建物边际区域(1.1节介绍的办法)点评两种办法的边际优化精度。为了客观点评两种算法的优化作用,以激光点云DSM作为真值,定量剖析优化后DSM与原始DSM比较,精度的进步状况。总的来说,本文通过如下目标来点评各个算法的功能:①均匀差错改动,修建物边际区域的均匀差错在优化前后的改动(即优化后的均匀差错减去原始均匀差错);②小于2 m差错百分比改动(bad-2),核算差错小于2 m的像素所占百分比在优化前后的改动(即优化后的百分比减去原始的百分比);③小于3 m差错百分比改动(bad-3),核算差错小于3 m的像素所占百分比在优化前后的改动。选用这3种精度点评原则,别离对PBR和本文算法进行功能鉴定,成果如图 12所示。在图 12中,均匀差错改动越小表明优化后的精度进步越大;而bad-2,bad-3越大,表明优化后正确点的百分比进步越大。图12 卫星数据集的功能比照成果

  由图 12可以看出,本文算法的优化作用显着优于PBR算法(除了(c)图中的像对2)。在均匀差错改动测度中,PBR算法在部分像对的均匀差错改动大于0,阐明PBR算法反而下降了原始DSM的精度,这是因为修建物边际邻近常常存在其他地物(如树木),不符合平面束缚条件,因而依据平面束缚的PBR算法在这种状况下会下降DSM精度。而本文算法选用了愈加灵敏的束缚,依托相邻且灰度类似的像从来优化修建物边际,然后能保存修建物邻近的不类似地物,终究进步DSM的精度。在大部分像对中,PBR算法的bad-2和bad-3两个测度小于0,阐明PBR算法反而削减了修建物边际邻近的正确点数目。而本文算法在大部分像对中的bad-2测度和bad-3测度大于0,阐明通过本文算法优化,修建物边际邻近的正确点数目得到进步。因而,归纳高程差错和正确点百分比两个方面,均证明本文算法可以进步卫星DSM中的修建物边际精度。为了更全面地点评本文算法的功能,本文列出一些优化前后的修建物边际比照,如图 13所示。图13 两种算法的边际优化作用比照

  在图 13中,正射印象中的赤色直线表明提取的边际直线,与DSM中的白色直线是一一对应的联系。原始DSM中的赤色像素表明因为误匹配而导致外扩的边际,而被赤色曲线所围住的像素(如图(c)所示),表明因为遮挡区域高程内插而导致的边际外扩问题。PBR算法通过强即将边际邻近的区域拟合为平面,取得与正射印象直线特征彻底符合的修建物边际,可是这类过强的束缚,一起也会损坏修建物邻近的地势地貌,反而下降了DSM的精度,如图 13(b)和(c)所示。本文算法可以在优化修建物边际的一起,有用保存修建物邻近的不类似地物,如图 13(b)所示,并对遮挡区域的修建物边际,有着显着的改进作用(如图 13(c)中的赤色曲线区域所示)。可是,本文算法的作用依赖于图画的质量,当边际误匹配像素的灰度信息,与周围正确匹配像素的灰度信息存在较大差异时,本文算法无法对这类边际进行优化,如图 13(a)中下方的修建物边际所示。此外,虽然选用图割算法进行大局优化,本文算法的时刻复杂度较低。以WorldView-3卫星数据集为例,在单核CPU @2.60 GHz的装备下,选用本文算法处理一张512×512像素的印象,均匀处理时刻为0.699 s,均匀每条边际的处理时刻为0.012 s。这是因为本文算法只是处理修建物边际邻近的像素,而不是处理整张印象,因而,时刻复杂度较低。

  图 13中的边际优化比照是以直线段为根本单元。为了愈加全面地点评本文算法的边际优化作用,本文以图 11中的立体像对4作为测验目标,测验整栋修建物的直线边际优化作用。测验中的立体像对DSM和正射印象选用切开前的产品,规模约为0.5 km2(2221×2223像素),选用文献[27]的办法对修建物进行直线边际检测,部分没检测出来的直线,选用人工办法提取,然后构成完好的修建物概括,总计提取出46栋修建物的边际。然后,选用本文算法进行修建物边际的大局优化,优化成果如图 14所示。图 14中,图(a)表明优化前后的大局DSM;图 14(b)—(d)表明部分若干栋修建物的边际在优化前/后的比照。图 14(b)—(d)的详细地理方位,如图(a)中的红框所示。因为本文算法只优化修建物边际,因而从全体上看,优化前后的两组大局DSM差异不大,如图(a)所示。可是,在部分规模内,修建物边际的优化作用较为显着,如图 14(b)—(d)所示。其间,优化前修建物边际有必定程度的外扩。在修建物和地上之间存在滑润过渡区域,然后导致边际含糊化。通过本文算法优化后,修建物在DSM中的边际具有较显着的直线特征,然后进步了修建物边际重建的精度。在单核CPU @2.60 GHz的装备下,选用本文算法处理该区域的时刻为6.23 s,均匀每栋修建物的边际优化时刻为0.14 s。本文算法以直线边际为根本单元进行优化,即一个个的直线进行优化,而非DSM/视差图的全体处理。因而,本文优化办法的时刻功率取决于修建物直线边际的提取数目。考虑到修建物边际及其邻近的像素数目,在整张DSM中所占百分比较小,因而虽然选用了图割解法,本文优化算法的时刻功率依然较高,每栋修建物的优化功率可以到达亚秒级。考虑到每条直线边际独自处理,因而本文优化算法十分简单用于并行结构,然后可以进一步进步处理功率。图14 整栋修建物优化前后的边际比照作用

  本文提出了一种依据直线特征的修建物边际精化办法,用于进步修建物边际的匹配精度或许高程精度。选用航拍印象数据集Vaihingen和Toronto,以及WorldView-3卫星数据集来验证本文算法的正确性和有用性。实验成果表明:本文算法显着优于常用的边际锐化算子(双方滤波和加权中值)和一种新的依据缓冲区平面的边际优化办法,可以有用改进修建物边际的精度,削减修建物边际的误匹配像素。因而,本文算法在一些修建物三维重建场景(如:虚拟现实、才智城市、城市管理等),均能得到使用。在未来,方案结合深度学习技能,研讨更准确的印象边际直线提取算法,然后进一步进步修建物边际精化的作用。

  称谢:感谢ISPRS供给的Vaihingen和Toronto航拍数据集;感谢约翰霍普金斯大学使用物理实验室,IARPA以及IEEE GRSS图画剖析和数据交融技能委员会供给的交融比赛数据。

  作者简介:巩丹超, 博士, 研讨员, 博士生导师, 首要从事卫星拍摄丈量及遥感印象处理与剖析研讨

相关推荐

读取内容中,请等待...

© CopyRight 2019, HUNANGY.COM, Inc.All Rights Reserved.
学院地址:湖南省长沙市岳麓区含浦科教园
湘教QS3-200505-000638 湘ICP备19015321号