-
海岸线是海洋资源保护与管理的重要依据,可为检测围填海的动态变化提供最基本的信息。通过提取的海岸线分析海岸线长度、变化速率与土地利用情况等特征,及其与人为因素、自然因素的关系,对海岸带的科学管理和保护具有重要意义[1-2]。水边线提取是海岸线提取的必要步骤,阈值分割法[3-4]、边缘检测算子法[5-6]、数据挖掘法[7-8]、面向对象法[9-10]等已经被广泛应用于水边线提取。深度学习具有图像特征自主学习、避免人工干预、效果显著等优点,现已广泛应用于遥感图像分类、语义分割等领域[11-12]。由水边线的特征可知,遥感图像水边线的提取本质上是一个二分类问题,深度学习方法能够充分挖掘原始图像中隐含的信息,尽可能利用已知数据使水边线提取结果更加精确,因此,深度学习方法可为水边线提取问题的解决提供新思路。
本文提出一种基于注意力机制的像素级海陆语义分割网络A-Unet用来提取水边线,并通过条件随机场对A-Unet分类结果进行细化,实现了对遥感图像水边线的像素级语义分割,通过提取天津市沿海地区和威海部分地区的水边线进行精度验证,证明方法的有效性。以天津市沿海地区为例,提取了该地区2006-2019年水边线,通过精度评价方法对符合精度要求的海岸线进行海岸线变化的定性和定量分析。
-
本文选取人工岸线和基岩岸线两种类型的海岸线作为研究区域。以天津市沿海地区为研究区域1,包括塘沽区、大港区、汉沽区3个区以及东丽区、津南区的一部分[如图1(a)所示]。研究区域1基本均为人工海岸线。以威海荣成市部分沿海地区为研究区域2 [如图1(b)所示]。研究区域2海岸是由伸入海中的坚硬岩石组成的狎角和向内凹进的海湾构成的岸段,均为自然海岸线中的基岩海岸线。
-
本文采用谷歌地球遥感历史影像为数据源,图像的空间分辨率为3.71 m,具有R、G、B 3个颜色通道。将2015年4月22日、2017年9月30日、2018年11月25日、2019年1月1日研究区域1与2017年3月22日、2018年5月22日研究区域2的6幅遥感影像用于模型训练,并将2006年3月12日、2009年11月18日、2012年5月31日、2016年3月10日研究区域1的四期影像用于模型测试和海岸线检测分析。此外,将2019年8月17日研究区域2的影像用于精度验证。
数据集处理包括遥感图像预处理和数据集后处理。遥感图像预处理使用ENVI 5.1,包括大气校正、图像去噪处理和图像边缘增强。数据集后处理是先将tif格式的遥感数据转换为常用的png格式,然后从中筛选出可于网络模型的训练与测试的数据,并对数据进行标注、生成掩码、数据增强。本文使用Labelme软件[13]进行遥感图像的手动标记。为丰富训练集,本文对遥感影像随机地应用翻转、旋转、弹性变换和增加噪声等数据增强方法来增加训练数据数量,如图2所示。最终训练集包含2000幅的分辨率大小为1918×1280的图像。
-
本文基于深度学习技术提出了一种新的水边线提取与分析方法,首先,对研究区域的遥感图像数据进行数据预处理并构造数据集。其次,采用提出的海陆语义分割网络A-Unet提取数据集的水边线,并使用条件随机场方法进行分割后处理,以提高分割精度。最后,根据精度评价方法对水边线提取方法进行精度修正,并依据最终提取结果分析研究区域历年的海岸线变化情况(技术路线如图3所示)。
-
深度卷积神经网络U-Net[14]结构简单,并且能够适应样本量少的训练集,因此常被用于医学、遥感图像的分割。原始U-Net由编码与解码两部分构成,编码网络通过卷积层和池化层来提取输入数据的多尺度特征,解码网络通过卷积层和上采样层来恢复特征图的空间分辨率,并使用这些特征图提取目标物。通常池化操作会丢失图像中的细节信息,为了恢复原始图像结构特征,U-Net使用了4次跳跃连接方式连接浅层次和深层次的特征,重构图像。由于高分辨率遥感图像数据背景复杂,包含丰富的地物种类和细节,因此,U-Net网络的跳跃连接虽可通过不同层次的特征映射恢复对象的细节信息,但不同浅层特征对重构图像细节的作用具有差异,传统的U-Net网络未考虑这些差异,给所有浅层特征以相同的权重,这导致图像恢复的细节特征不够精细,难以直接应用于海陆分割的水边线提取。已有研究表明,注意力机制可以通过加权较低级别的信息来提高视觉信息处理的效率与准确性[15]。为实现更精确的像素级分割效果,本文基于原始U-Net添加了注意力机制,构造了A-Unet。
本文中构建的注意力机制模块(见图4)将解码器中的上采样层与该层分辨率相同的编码器中的低级信息作为输入,为弥补编码器中低级特征的视觉语义信息,本模块将上采样得到的高级特征由Sigmoid层激活,并归一化为[0,1]作为编码器中低级特征信息的映射,然后与编码器中低级特征相乘以获得加权低级特征。最终通过特征通道拼接方法将经过2个3×3卷积核提取得到的上采样层高级特征与加权低级特征的通道进行拼接,完成特征信息融合,然后将融合得到的特征作为后一阶段的输入,依次迭代,逐步恢复对象的细节信息。
Unet包含26个卷积核为3×3的卷积层,5个卷积核为2×2的下采样层和5个卷积核为2×2的上采样层,并使用ReLU作为激活函数。同时,在每一个卷积运算以后使用批量归一化层(batch normalization, BN)[16]对特征进行归一化,使每层的特征分布更加均匀,并能在提高模型收敛速度的同时降低模型对初始权值的敏感度。此外,在典型的卷积神经网络结构中,通常会在每次最大池化操作后增加特征图谱的数量,在原始U-Net中,特征图谱数量从64逐层增加至1024,但特征图谱数量的增加会导致网络模型参数急剧增加,从而导致模型训练计算时间冗长等问题。因此,在本文模型中整个网络特征图谱数量始终保持为64,之所以这样是考虑到以下两个方面:①构造的数据集中类别数较少,网络池化操作中丢失掉的信息可以通过上采样和“跳跃连接”重新获取;②在遥感图像中,高层次3D物体的概念并不需要进行深入理解和识别,所以在较高网络层中增加特征图谱的数量,并不会提高模型的实际预测性能[17]。网络结构如图4所示。
-
由于像素类别之间存在一定的联系,但卷积神经网络并没有考虑到这种关系,导致像素级分割结果缺乏空间一致性。已有研究表明,使用条件随机场(conditional random field,CRF)[18]可以兼顾到像素之间的空间一致性,使分割结果更加精细。因此,在网络末端处理部分,本文以A-Unet网络最后一层作为输入,使用条件随机场方法对分割结果进行优化。
-
在经过分割后处理优化后,对输出的岸线进行精度评价,若不满足于应用需求则重新训练模型或调参,若满足精度需求则进行岸线变化分析。本文通过计算所有点最短距离的平均值来衡量该算法提取出岸线的准确性[19],计算公式如下:
式中:m表示岸线上的点集的个数;
$ {X}_{i} $ 为已提取岸线(ExtractLine)上所有点的集合(${X}_{i}\in $ $ \rm ExtractLine$ );$ {Y}_{i} $ 为实际岸线(RealLine)上所有点的集合(${Y}_{i}\in \rm RealLine$ );$ \underset{\left|X-Y\right|}{\to } $ 表示提取岸线上的点与实际岸线点之间的距离。 -
本文使用变化终点速率(end point rate,EPR)与线性回归变化率来分析岸线的时空变化(linear regression rate,LRR)。EPR是两个时期岸线距离与其时间间隔的比值,用以研究最早和最近时期的岸线的变化情况[20],其优势是可以直接对两条岸线统计与分析。EPR计算公式如下:
式中:EPR是垂直于真实岸线上的某一条剖面的岸线终点变化速率;D是最远年份与最近年份岸线剖面横切的距离间隔;T是最远年份与最近年份的时间间隔。
虽然EPR可以反映两个时期岸线之间的变化率,但在多条岸线的变迁研究中,中间局部的变化信息被忽略,导致多年岸线的EPR信息不准确。LRR通过将最小二乘回归线拟合到样带的所有岸线点来确定回归线,使平方残差之和(通过平方每个数据点与回归线的偏移距离并和平方残差相加确定)能很好地拟合多年海岸线的变化情况[21]。其计算公式如下:
式中:a和b分别为岸线位置序列线拟合线的斜率和截距;
$ {X}_{i} $ 是i时期的岸线的位置;$ {Y}_{i} $ 是垂直于真实岸线上的某一剖面上i时期岸线点和基线点的距离间隔;n是岸线时期的个数。 -
为验证A-Unet分割网络及后处理方法的有效性,本文选取了3种不同的深度学习算法FCN-8s[22]、U-net和A-Unet对水边线进行分割并对比。其中,FCN-8s被广泛用于图像语义分割,可以接受任意大小的输入图像并对各个像素进行分类,因此可以用于水边线分割。CRF-AUnet分割方法是基于A-Unet的分割算法以及利用CRF对A-Unet分割算法后处理得到海岸线分割结果。实验采用总体精度OA(overall accuracy)和Kappa系数作为评定指标,各类算法分割精度见表1。
分割方法 研究区域1 研究区域2 OA Kappa OA Kappa FCN-8s 0.795 0.778 0.810 0.788 U-net 0.918 0.828 0.905 0.804 A-Unet 0.936 0.842 0.935 0.862 CRF-AUnet 0.941 0.853 0.948 0.871 表 1 基于不同分割方法的海岸线分割精度评价表
Table 1. Coastline segmentation accuracy evaluation table based on different segmentation methods
由表1可以看出,传统FCN-8s算法分割精度最低,研究区域1的OA为0.795,Kappa系数为0.778;研究区域2的OA为0.810,Kappa系数为0.788。由于U-net网络层数较浅、特征提取精度不高,且并未考虑到像素之间的空间关系,因此没有达到最好的分割效果。本文提出的A-Unet添加了空间注意力机制,考虑到像素与像素的空间关系,其研究区域OA和Kappa系数均高于U-net,由此可以验证模型改进的有效性。此外,对分割结果进行CRF处理后,A-Unet分割图的边缘更加圆滑,实现了图形轮廓上的精确恢复,使模型的效果得到了有效提升。综合以上对两个研究区域使用不同分割方法的结果,CRF-AUnet算法分割精度最佳,OA为0.941,Kappa系数为0.853。图5与图6分别给出了研究区域1与研究区域2的分割结果,可以看出,改进后的方法可以有效地优化边缘细节并提升分割精度。
-
将研究区域1和2提取的岸线与实际岸线进行对比,如图7(a)和图8(a)所示,红色曲线为专家目视绘制的海岸线,黑色曲线为A-Unet网络提取的岸线。通过计算提取岸线上的岸线点与实际岸线点间的平均最短距离进行精度验证,两个区域提取岸线平均精度均优于两个像元,满足对海岸线时空变化分析的精度需求。图7(b)和图7(c)为研究区域1提取的海岸线与实际海岸线的局部放大图,所示区域为围海造地区域。围填海过程中该区域水中泥沙含量高,在遥感图像上水陆边界模糊,特征区分不明显,因此提取的海岸线与实际岸线存在一定偏差。图8(b)和图8(c)为研究区域2提取的海岸线与实际海岸线的局部放大图,由于数据像素质量不高,人工养殖区处特征与海水特征相似,人工目视解译提取的实际岸线与模型提取岸线存在偏差。
-
通常情况下,遥感图像中的水边线为卫星过境时刻摄取的瞬时海陆分割线,并不是真正的海岸线(平均大潮高潮线)。因此,需根据所提取的海岸线类型具体分析,依据相关数据对提取的水边线进行潮位矫正,才能得到真正的海岸线[23]。但本文的研究区域1均为人工海岸线,人工海岸线以人工建筑边缘作为岸线,在遥感图像上具有明显的海陆分界线,可直接将提取的水边线视为海岸线。
本文选取研究区1为例对水边线变化进行分析。对于4期测试集图像,使用A-Unet网络进行分割,并使用基于条件随机场的方法对其进行后处理,将符合预测精度的提取结果用于海岸线预测分析,并将4个海岸线提取结果进行叠加(如图9所示)。由图9可知,自2006年起,研究区域海岸线变迁程度较大,海岸线曲折程度明显增加,海岸线总长度逐年增长,并呈现向海快速推进状态。同时,图9也显示了2006-2019年海岸线总长度的变化趋势。可以看出,海岸线自2006年以来一直呈稳定增加趋势,由2006年的128.62 km增加到2019年的301.14 km,总长度增加了172.52 km,平均增速约为12.32 km/a。其中,2008-2013年岸线总长度增幅最大,增加了113.75 km,2014-2019年岸线总长度增幅较小,为16.1 km。
图10展示了研究区域2006-2019年海岸线变化终点速率EPR和线性回归变化率LRR的变化趋势。可以看出,研究区域的海岸线在2006-2019年一直保持较高的终点变化速率,岸线平均EPR和LRR分别为25.96 m/a和27.49 m/a,岸线整体呈向海延伸的趋势。在子牙新河以南,蛏头沽渔港码头以北,天津港与天津南港地区是研究区域改造强度最大的区域,填海造陆、工业区建设等人类活动使海岸线集中向海扩张,陆域面积显著扩大。在子牙新河以北,蛏头沽渔港码头以南随着滨海新区的开发建设,海岸线也较大幅度向海延伸,这表明天津的经济活动范围不断向海洋拓展,在一定程度上反映了该地区较为稳定的海洋经济发展形势和较快的发展速度。
-
本文提出一种基于注意力机制的像素级海陆语义分割网络A-Unet用来提取水边线,并通过条件随机场方法对A-Unet分类结果进行细化,实现了对遥感图像水边线的像素级语义分割,经精度验证,该方法可适用于人工岸线和基岩岸线。以天津市沿海地区历史遥感图像为数据源,提取了研究区域近10年海岸线并定性和定量分析其变化趋势。实验表明,与其他水边线分割方法相比,A-Unet网络可以实现遥感图像准确语义分割,精确提取海岸线。同时发现,研究区域海岸线长度14年来共增加172.52 km。海岸线以向海扩张为主导,变化较为复杂,这种变化主要由人类海岸带开发建设和围填海改造工程等人为因素导致的。
未来将针对不同类型水边线优化模型以适用多种类型水边线的提取,用于较大地域范围的水边线提取。
基于深度学习的遥感图像水边线提取方法与应用
A water edge extraction method based on deep learning for remote sensing images
-
摘要: 本文提出一种基于注意力机制的像素级海陆语义分割网络A-Unet用来提取水边线,并通过条件随机场对A-Unet分类结果进行细化。以天津沿海地区的人工海岸与威海地区的基岩海岸为例,对所提方法进行了验证,实验表明,与其他水边线分割方法相比,本文提出的方法能够得到更精细的结果,实现对遥感图像水边线的像素级语义分割。该方法提取了天津地区近10年海岸线并对其变化趋势进行了定性和定量分析,可为城市海洋资源的合理开发、海洋生态环境的保护提供更好的决策与参考依据。Abstract: The paper proposes a pixel-level sea-land semantic segmentation network A-Unet based on the attention mechanism to extract water edges. The network refines the A-Unet classification results through conditional random fields to realize the pixel-level semantics of remote sensing image water edges segmentation. Using the historical remote sensing images of Tianjin coastal area and Weihai area as data source, the paper extracts the coastline of Tianjin area of the past ten years and anaylses its change trendency qualitatively and quantitatively. Moreover, the natural waterline of Weihai area is employed to verify the accuracy of proposed model. Experiments show that compared with other waterfront segmentation methods, the proposed network can obtain more refined results, which can provide a better decision-making and reference basis for the rational development of urban marine resources and the protection of marine ecological environment.
-
Key words:
- coastline /
- deep learning /
- remote sensing images /
- semantic segmentation
-
表 1 基于不同分割方法的海岸线分割精度评价表
Table 1. Coastline segmentation accuracy evaluation table based on different segmentation methods
分割方法 研究区域1 研究区域2 OA Kappa OA Kappa FCN-8s 0.795 0.778 0.810 0.788 U-net 0.918 0.828 0.905 0.804 A-Unet 0.936 0.842 0.935 0.862 CRF-AUnet 0.941 0.853 0.948 0.871 -
[1] 王建步, 张 杰, 陈景云, 等. 近30余年辽河口海岸线遥感变迁分析[J]. 海洋环境科学, 2015, 34(1): 86-92.
[2] 高志强, 刘向阳, 宁吉才, 等. 基于遥感的近30a中国海岸线和围填海面积变化及成因分析[J]. 农业工程学报, 2014, 30(12): 140-147. doi: 10.3969/j.issn.1002-6819.2014.12.017
[3] 吴一全, 孟天亮, 吴诗婳. 图像阈值分割方法研究进展20年(1994–2014)[J]. 数据采集与处理, 2015, 30(1): 1-23.
[4] LU S L, WU B F, YAN N N, et al. Water body mapping method with HJ-1A/B satellite imagery[J]. International Journal of Applied Earth Observation and Geoinformation, 2011, 13(3): 428-434. doi: 10.1016/j.jag.2010.09.006 [5] 顾 智, 贾培宏, 李功成, 等. 基于Canny算子的海南陵水双潟湖岸线提取技术[J]. 第四纪研究, 2016, 36(1): 113-120. doi: 10.11928/j.issn.1001-7410.2016.11
[6] 庄翠蓉. 厦门海岸线遥感动态监测研究[J]. 海洋地质动态, 2009, 25(4): 13-17. doi: 10.3969/j.issn.1009-2722.2009.04.003
[7] 李秀梅, 袁承志, 李月洋. 渤海湾海岸带遥感监测及时空变化[J]. 国土资源遥感, 2013, 25(2): 156-163.
[8] QU G Z, YU Q Z, WANG Y F. An improved method for SAR image coastline detection based on despeckling and SVM[C]//IET International Radar Conference 2013. Xi'an: IET, 2013: 1-6. [9] TOCHAMNANVIT T, MUTTITANON W. Investigation of coastline changes in three provinces of Thailand using remote sensing[C]//ISPRS Technical Commission VIII Mid-Term Symposium 2014. Hyderabad: ISPRS, 2014: 1079–1083. [10] GE X Z, SUN X L, LIU Z Q. Object-oriented coastline classification and extraction from remote sensing imagery[C]//Remote sensing of the environment: 18th National Symposium on Remote Sensing of China. Wuhan: SPIE, 2014, 9158: 91580M. [11] 许 玥, 冯梦如, 皮家甜, 等. 基于深度学习模型的遥感图像分割方法[J]. 计算机应用, 2019, 39(10): 2905-2914.
[12] 李越帅, 郑宏伟, 罗格平, 等. 集成U-Net方法的无人机影像胡杨树冠提取和计数[J]. 遥感技术与应用, 2019, 34(5): 939-949.
[13] 曹 洁, 罗菊香, 李晓旭. 融入类别信息的图像标注概率主题模型[J]. 计算机工程与应用, 2017, 53(10): 187-192. doi: 10.3778/j.issn.1002-8331.1512-0234
[14] CHEN J X, YANG L, ZHANG Y Z, et al. Combining fully convolutional and recurrent neural networks for 3D biomedical image segmentation[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2016: 3044-3052. [15] 宋廷强, 李继旭, 张信耶. 基于深度学习的高分辨率遥感图像建筑物识别[J]. 计算机工程与应用, 2020, 56(8): 26-34. doi: 10.3778/j.issn.1002-8331.1910-0211
[16] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lile, France: IMLS, 2015, 37: 448-456. [17] 苏健民, 杨岚心, 景维鹏. 基于U-Net的高分辨率遥感图像语义分割方法[J]. 计算机工程与应用, 2019, 55(7): 207-213. doi: 10.3778/j.issn.1002-8331.1806-0024
[18] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848. doi: 10.1109/TPAMI.2017.2699184 [19] 田德政, 王常颖, 韩园峰, 等. 模拟涨潮的复杂海岸类型岸线自动提取方法[J]. 海洋环境科学, 2020, 39(1): 153-161. doi: 10.12111/j.mes20200122
[20] ZHENG S, JAYASUMANA S, ROMERA-PAREDES B, et al. Conditional random fields as recurrent neural networks[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1529-1537. [21] 丁小松, 单秀娟, 陈云龙, 等. 基于数字化海岸分析系统(DSAS)的海岸线变迁速率研究: 以黄河三角洲和莱州湾海岸线为例[J]. 海洋通报, 2018, 37(5): 565-575. doi: 10.11840/j.issn.1001-6392.2018.05.010
[22] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 3431-3440. [23] 吴一全, 刘忠林. 遥感影像的海岸线自动提取方法研究进展[J]. 遥感学报, 2019, 23(4): 582-602.
-