• 中文核心期刊
  • 中国科技核心期刊
  • ISSN 1007-6336
  • CN 21-1168/X

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

M-PSPNet多尺度海洋温度锋检测方法

贺琪 曹翔 徐慧芳 张明华 杜艳玲 宋巍

引用本文:
Citation:

M-PSPNet多尺度海洋温度锋检测方法

    作者简介: 贺 琪(1979-),女,黑龙江鹤岗人,博士,教授,主要研究方向为海洋大数据存储、云计算,E-mail:qihe@shou.edu.cn;
  • 基金项目: 国家重点研发计划项目(2021YFC3101602);国家自然科学基金项目(41906179);上海市部分地方高校能力建设项目(20050501900);上海市教育发展基金项目(AASH2004)
  • 中图分类号: X16

M-PSPNet multi-scale ocean temperature front detection method

  • 摘要: 海洋温度锋作为一种重要的中尺度海洋现象,是影响海洋热量交换与物质运输以及海气相互作用的关键因素,实现其精准检测是分析海洋锋时空变化及海洋气象动态监测的重要基础。海洋混合、温度变化缓慢导致海洋温度锋具有小目标、弱边缘的特性,针对传统的边缘检测和现有的深度学习方法存在形态刻画不准确和像素误检等问题,本文提出M-PSPNet多尺度海洋温度锋检测方法。该方法通过设计多尺度特征提取模块(Multi-ResNet),在保留浅层学习网络中获得的空间、位置特征的同时,结合深层网络获取的语义特征,提升模型对边缘轮廓、位置信息的检测能力;此外,该方法引入DicelossFocalloss组合的混合损失函数DFloss,引导模型注重预测结果与标注值的像素级差异,提高锋面像素检测的准确性。为验证方法的有效性,本文基于实验模型设计多组对比实验,实验结果显示:本文M-PSPNet多尺度海洋温度锋检测方法的交并比、查全率、查准率和F1值4项指标分别达到了78.79%、89.59%、86.95%、88.25%,检测效果明显优于对比方法;相比采用ResNet-50模块的模型检测结果,交并比、查全率、F1值3项指标分别提高了14.78%、19.15%、10.13%;相比采用单个损失函数的模型检测结果,交并比、查全率及查准率指标分别提高了1.4%、1.55%、5.1%;对比分析结果表明,本文提出的模型能精准定位海洋温度锋的位置、边缘轮廓,刻画出准确的锋面形态。
  • 图 1  海温锋标注结果

    Figure 1.  The result of ocean temperature front labeling

    图 2  M-PSPNet模型结构

    Figure 2.  M-PSPNet model structure

    图 3  M-ResNet多尺度特征提取模块

    Figure 3.  The feature extraction module of M-ResNet

    图 4  金字塔池化结构

    Figure 4.  Pyramid pooling structure

    图 5  不同特征提取模块的海温锋检测结果对比

    Figure 5.  Comparison of oceanic temperature front detection results with different feature extraction model

    图 6  不同特征融合策略的海温锋检测结果对比

    Figure 6.  Comparison of oceanic temperature front detection results with different feature fusion strategies

    图 7  不同损失函数的海温锋检测结果对比

    Figure 7.  Comparison of oceanic temperature front detection results with different loss functions

    图 8  不同模型对海温锋测试集的检测结果

    Figure 8.  Detection results of different models for the oceanic temperature front test set

    表 1  不同特征提取模块的度量结果

    Table 1.  Metric results for different feature extraction modules

    特征提取
    模块
    度量标准
    交并比/(%)查全率/(%)查准率/(%)F1值/(%)
    ResNet
    -50
    64.1070.0888.2578.12
    M-
    ResNet
    78.9789.5986.9588.25
    下载: 导出CSV

    表 2  不同特征融合策略的度量结果

    Table 2.  Metric results of different feature fusion strategies

    特征层度量标准
    交并比/(%)查全率/(%)查准率/(%)F1值/(%)
    M1+M476.5789.6284.0286.73
    M1+M2+M3+M468.4375.9687.3581.26
    M1+M2+M478.9789.5986.9588.25
    注: Mx,x={1,2,3,4},代表特征提取模块不同阶段输出的特征图
    下载: 导出CSV

    表 3  不同损失函数的度量结果

    Table 3.  Metric results for different loss functions

    损失函数度量标准
    交并比/(%)查全率/(%)查准率/(%)F1值/(%)
    MSEloss67.9979.8182.1080.94
    CEloss71.6685.7381.3783.49
    Diceloss56.7861.6281.8570.31
    Focalloss77.5788.0480.9384.34
    DFloss78.9789.5986.9588.25
    下载: 导出CSV

    表 4  不同模型的度量结果

    Table 4.  Metric results for different models

    模型度量标准
    交并比/(%)查全率/(%)查准率/(%)F1值/(%)
    梯度法6.4713.5711.0012.15
    Mask R-CNN71.0088.4378.0182.89
    Unet63.2184.1471.7777.46
    Deeplab v3+66.282.1877.2979.66
    M-PSPNet78.9789.5986.9588.25
    下载: 导出CSV
  • [1] BELKIN I M. Remote sensing of ocean fronts in marine ecology and fisheries[J]. Remote Sensing, 2021, 13(5): 883. doi: 10.3390/rs13050883
    [2] 曹维东, 解 翠, 韩 冰, 等. 融合深度学习的自动化海洋锋精细识别[J]. 计算机工程, 2020, 46(10): 266-274. doi: 10.19678/j.issn.1000-3428.0055985
    [3] 傅书南, 葛汝平, 陈洪举, 等. 春季南黄海近岸海域浮游动物群落特征[J]. 海洋环境科学, 2021, 40(4): 485-491. doi: 10.12111/j.mes.20200137
    [4] PI Q L, HU J Y. Analysis of sea surface temperature fronts in the Taiwan Strait and its adjacent area using an advanced edge detection method[J]. Science China Earth Sciences, 2010, 53(7): 1008-1016. doi: 10.1007/s11430-010-3060-x
    [5] CAYULA J F, CORNILLON P. Edge detection algorithm for SST images[J]. Journal of Atmospheric and Oceanic Technology, 1992, 9(1): 67-80. doi: 10.1175/1520-0426(1992)009<0067:EDAFSI>2.0.CO;2
    [6] BELKIN I M, O'REILLY J E. An algorithm for oceanic front detection in chlorophyll and SST satellite imagery[J]. Journal of Marine Systems, 2009, 78(3): 319-326. doi: 10.1016/j.jmarsys.2008.11.018
    [7] BREAKER L C, MAVOR T P, BROENKOW W W. Mapping and monitoring large-scale ocean fronts off the California coast using imagery from the GOES-10 geostationary satellite [R]. San Diego: California Sea Grant College Program, 2005.
    [8] KOSTIANOY A G, GINZBURG A I, FRANKIGNOULLE M, et al. Fronts in the Southern Indian Ocean as inferred from satellite sea surface temperature data[J]. Journal of Marine Systems, 2004, 45(1/2): 55-73.
    [9] 任诗鹤, 王 辉, 刘 娜. 中国近海海洋锋和锋面预报研究进展[J]. 地球科学进展, 2015, 30(5): 552-563. doi: 10.11867/j.issn.1001-8166.2015.05.0552
    [10] PING B, SU F Z, MENG Y S, et al. A model of sea surface temperature front detection based on a threshold interval[J]. Acta Oceanologica Sinica, 2014, 33(7): 65-71. doi: 10.1007/s13131-014-0502-x
    [11] CUI X J, SU F Z, ZHOU J Q. Extraction of Ocean Fronts Based on Wavelet Analysis[J]. Marine Science Bulletin, 2007, 26(2): 20-27.
    [12] 陈 捷, 陈 标, 许素芹. 基于二维连续小波变换的SAR图像海洋现象特征检测[J]. 电子学报, 2010, 38(9): 2128-2133.
    [13] 平 博, 苏奋振, 杜云艳, 等. 基于引力模型的海洋锋信息提取[J]. 地球信息科学学报, 2013, 15(02): 187-192.
    [14] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90. doi: 10.1145/3065386
    [15] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on pattern analysis and machine intelligence, 1986, PAMI-8(6): 679-698. doi: 10.1109/TPAMI.1986.4767851
    [16] LI X F, LIU B, ZHENG G, et al. Deep-learning-based information mining from ocean remote-sensing imagery[J]. National Science Review, 2020, 7(10): 1584-1605. doi: 10.1093/nsr/nwaa047
    [17] LIMA E, SUN X, YANG Y T, et al. Application of deep convolutional neural networks for ocean front recognition[J]. Journal of Applied Remote Sensing, 2017, 11(4): 042610.
    [18] LIMA E, SUN X, DONG J Y, et al. Learning and transferring convolutional neural network knowledge to ocean front recognition[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(3): 354-358. doi: 10.1109/LGRS.2016.2643000
    [19] SUN X, WANG C G, DONG J Y, et al. A multiscale deep framework for ocean fronts detection and fine-grained location[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 178-182. doi: 10.1109/LGRS.2018.2869647
    [20] LI Q Y, FAN Z L, ZHONG G Q. BEDNet: Bi-directional edge detection network for ocean front detection[C]//Proceedings of the 27th International Conference on Neural Information Processing. Bangkok Springer, 2020: 312-319.
    [21] LI Q Y, ZHONG G Q, CUI X, et al. Weak edge identification network for ocean front detection[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.
    [22] HE K M, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice IEEE, 2017: 2980-2988.
    [23] 徐慧芳, 黄冬梅, 贺 琪, 等. 改进Mask R-CNN模型的海洋锋检测[J]. 中国图象图形学报, 2021, 26(12): 2981-2990. doi: 10.11834/jig.200599
    [24] 徐慧芳, 黄冬梅, 贺 琪, 等. 融合scSE模块的改进Mask R-CNN海洋锋检测方法[J]. 海洋通报, 2022, 41(1): 19-28. doi: 10.11840/j.issn.1001-6392.2022.01.003
    [25] 张雪薇, 韩 震. Argo温度数据的ConvGRU模型预测分析[J]. 海洋环境科学, 2022, 41(4): 628-635. doi: 10.12111/j.mes.20210054
    [26] ZHAO H S, SHI J P, QI X J, et al. Pyramid scene parsing network[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu IEEE, 2017: 6230-6239.
    [27] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//Proceedings of the 3rd International Conference on Learning Representations. San Diego: ICLR, 2015.
    [28] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.
    [29] SHAO Z F, TANG P H, WANG Z Y, et al. BRRNet: A fully convolutional neural network for automatic building extraction from high-resolution remote sensing images[J]. Remote Sensing, 2020, 12(6): 1050. doi: 10.3390/rs12061050
    [30] 徐 欢, 任沂斌. 基于混合损失U-Net的SAR图像渤海海冰检测研究[J]. 海洋学报, 2021, 43(6): 157-170.
    [31] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. 2017: 2999-3007.
    [32] KINGMA D P, BA J. Adam: a method for stochastic optimization[C]//Proceedings of the 3rd International Conference on Learning Representations. San Diego: ICLR, 2015.
    [33] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical image Computing and Computer-Assisted Intervention. Munich: Springer, 2015: 234-241.
    [34] CHEN L C, ZHU Y K, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proceedings of the 15th European Conference on Computer Vision. Munich: Springer, 2018: 833-85.
  • [1] 韩莹孙凯强张栋王乐豪谈昊然 . 一种基于深度学习的海表温度混合预测方法. 海洋环境科学, 2022, 41(5): 791-798. doi: 10.12111/j.mes.2021-x-0148
    [2] 杜家豪聂婕叶敏宋德瑞高振魏志强 . 基于全局跨尺度时空注意力的深度神经网络海表面温度预测模型. 海洋环境科学, 2023, 42(6): 944-954. doi: 10.12111/j.mes.2023-x-0048
    [3] 赵丹枫许强黄洲黄冬梅苏诚 . 基于相似阈值学习的台风路径分类方法. 海洋环境科学, 2022, 41(4): 644-652. doi: 10.12111/j.mes.20200070
    [4] 苏翰祥韩树宗杨轩赵亚明李琰 . 西太平洋上层海洋温度结构对台风响应的合成分析. 海洋环境科学, 2023, 42(5): 788-796. doi: 10.12111/j.mes.2022-x-0303
    [5] 刘瑶李欣泽杨彤刘昆连展 . 海洋石油勘探开发溢油环境污染损害风险可保性研究. 海洋环境科学, 2023, 42(1): 64-71. doi: 10.12111/j.mes.2021-x-0263
    [6] 耿文倩王庆战超余建奎任宗海曹印李瑞钱张帆 . 海洋牧场选址适宜性评估——以烟台北部海域为例. 海洋环境科学, 2023, 42(2): 302-308, 314. doi: 10.12111/j.mes.2022-x-0176
    [7] 周志伟邓化施华宏 . 基于无人机遥感与机器学习的岸滩大型塑料垃圾监测方法. 海洋环境科学, 2023, 42(1): 141-150. doi: 10.12111/j.mes.2021-x-0311
    [8] 朱道恒朱浛灵李志强刘润 . 基于改进YOLOv7的海滩垃圾检测方法. 海洋环境科学, 2023, 43(): 1-13. doi: 10.12111/j.mes.2023-x-0224
    [9] 张雪薇韩震 . Argo温度数据的ConvGRU模型预测分析. 海洋环境科学, 2022, 41(4): 628-635. doi: 10.12111/j.mes.20210054
    [10] 王丽娜葛鹏刘会滔宋悦董昌明 . 基于注意力机制的HDC-BiGRU海表温度预测模型. 海洋环境科学, 2022, 41(6): 947-956. doi: 10.12111/j.mes.2022-x-0153
    [11] 刘永娟袁超屈佩肖洁孙忠民张学雷 . 黄海铜藻形态特征和遗传多样性研究. 海洋环境科学, 2023, 42(2): 217-227. doi: 10.12111/j.mes.2022-x-0192
    [12] 董兰芳许明珠李世才陈瑞芳龙子扬林立蔚 . 温度对中国鲎幼鲎生长、蜕壳、能值、免疫指标和抗氧化能力的影响研究. 海洋环境科学, 2023, 42(1): 104-110. doi: 10.12111/j.mes.2021-x-0187
    [13] 田娟娟韩刚刘海棠刘欢 . 国内外麻痹性贝类毒素风险预警及管控措施的比对分析. 海洋环境科学, 2019, 38(3): 464-470. doi: 10.12111/j.mes20190321
    [14] 束乐乐杨红王春峰吴建辉 . 长江口门附近水体溶解性有机质的荧光组分特征. 海洋环境科学, 2023, 42(2): 176-184, 192. doi: 10.12111/j.mes.2022-x-0064
    [15] 傅圆圆杨超姚远张浩男赵倩倩 . 秦皇岛海洋站海浪特征分析. 海洋环境科学, 2022, 41(6): 842-846. doi: 10.12111/j.mes.2022-x-0101
    [16] 杨桂朋 . 海洋温室气体研究进展. 海洋环境科学, 2023, 42(1): 1-3. doi: 10.12111/j.mes.23-1
    [17] 苏洁韩俊丽明红霞赵小慧石岩关道明樊景凤 . 北极新奥尔松地区土壤及沉积物中可培养细菌多样性及分布特征分析. 海洋环境科学, 2018, 37(2): 274-280, 293. doi: 10.12111/j.cnki.mes20180218
    [18] 袁行知许雪峰俞亮亮李燃 . 复杂动力条件下台州近海余流季节性特征及其对污染物运移的影响. 海洋环境科学, 2023, 42(4): 589-596. doi: 10.12111/j.mes.2022-x-0340
    [19] 许昊郭振张志卫王珏刘寅楚 . 有居民海岛土壤重金属空间异质性及其入海风险分析:以田横岛为例. 海洋环境科学, 2023, 42(5): 704-712. doi: 10.12111/j.mes.2022-x-0254
    [20] 牛明香李永涛王俊刘志国左涛程兆龙 . 基于HSI的黄河口近岸海域鮻鱼卵、仔稚鱼栖息地适宜性研究. 海洋环境科学, 2023, 42(5): 766-773. doi: 10.12111/j.mes.2022-x-0328
  • 加载中
图(8)表(4)
计量
  • 文章访问数:  550
  • HTML全文浏览量:  278
  • PDF下载量:  14
出版历程
  • 收稿日期:  2022-10-18
  • 录用日期:  2023-02-06
  • 刊出日期:  2023-08-20

M-PSPNet多尺度海洋温度锋检测方法

    作者简介:贺 琪(1979-),女,黑龙江鹤岗人,博士,教授,主要研究方向为海洋大数据存储、云计算,E-mail:qihe@shou.edu.cn
  • 1. 上海海洋大学 信息学院, 上海 201306
  • 2. 上海建桥学院 信息技术学院, 上海 201306
基金项目: 国家重点研发计划项目(2021YFC3101602);国家自然科学基金项目(41906179);上海市部分地方高校能力建设项目(20050501900);上海市教育发展基金项目(AASH2004)

摘要: 海洋温度锋作为一种重要的中尺度海洋现象,是影响海洋热量交换与物质运输以及海气相互作用的关键因素,实现其精准检测是分析海洋锋时空变化及海洋气象动态监测的重要基础。海洋混合、温度变化缓慢导致海洋温度锋具有小目标、弱边缘的特性,针对传统的边缘检测和现有的深度学习方法存在形态刻画不准确和像素误检等问题,本文提出M-PSPNet多尺度海洋温度锋检测方法。该方法通过设计多尺度特征提取模块(Multi-ResNet),在保留浅层学习网络中获得的空间、位置特征的同时,结合深层网络获取的语义特征,提升模型对边缘轮廓、位置信息的检测能力;此外,该方法引入DicelossFocalloss组合的混合损失函数DFloss,引导模型注重预测结果与标注值的像素级差异,提高锋面像素检测的准确性。为验证方法的有效性,本文基于实验模型设计多组对比实验,实验结果显示:本文M-PSPNet多尺度海洋温度锋检测方法的交并比、查全率、查准率和F1值4项指标分别达到了78.79%、89.59%、86.95%、88.25%,检测效果明显优于对比方法;相比采用ResNet-50模块的模型检测结果,交并比、查全率、F1值3项指标分别提高了14.78%、19.15%、10.13%;相比采用单个损失函数的模型检测结果,交并比、查全率及查准率指标分别提高了1.4%、1.55%、5.1%;对比分析结果表明,本文提出的模型能精准定位海洋温度锋的位置、边缘轮廓,刻画出准确的锋面形态。

English Abstract

  • 海洋锋是一种典型的中尺度海洋现象,是海洋中不同水系或水团之间的狭窄过渡带[1]。在形成海洋锋面的水团中,温度、盐度、水色等海洋环境要素具有较高水平梯度,可以用来描述海洋锋。海洋锋区存在强烈的湍流混合交换、水平辐合和垂直运动[2],促进了海洋和大气之间的热量交换及上层海洋中营养物质、氧气等溶解气体的输送,导致锋区浮游植物大量繁殖,可为浮游生物和动物提供丰富的饵料[3]。因此,海洋锋的精确检测对海上救援、渔业生产、海洋生态模式研究等具有重要意义。

    海表温度锋(sea surface temperatures front, SSTF)作为海洋锋的一种重要表现形式,常用来研究海洋锋。近年来,国内外学者基于海表面温度(sea surface temperatures, SST)遥感影像,提出多种检测海洋温度锋(以下简称海温锋)的方法,分为传统检测方法和深度学习方法两类。传统的海温锋检测方法[4-14]从统计分析角度手动提取海温锋特征,通过设定阈值进行锋面检测,检测结果具有良好的连续性。但统计分析的计算过程复杂、计算量大,阈值的设定具有较高的主观性且不同海域识别标准不统一,传统海温锋检测方法不具有普适性。此外,海温锋呈现弱边缘的特征,传统方法提取效果差。

    随着深度学习在目标检测、图像分割等领域取得巨大成功[15-16],基于深度学习的海温锋检测方法相继被提出。Lima等[17-18]首次将CNN(convolutional neural network)应用于海温锋的识别任务,实现了海温锋自动识别,即判断影像中是否存在海温锋。Sun等[19]结合CNN模型与传统图像处理实现锋面的自动检测。Li等[20-21]利用多尺度信息融合和优化损失函数完成海温锋细粒度检测。曹维东等[2]提出结合Mask R-CNN[22]与传统梯度法进行海温锋识别与锋面调整,得到较精细的锋面检测结果。徐慧芳等[23-24]为解决传统方法存在的阈值选择不固定、判定指标不一致的问题,将一种改进的Mask R-CNN网络应用于海温锋检测,又进一步对数据进行特征增强预处理,在梯度图像上实现海温锋的高精度检测。但深层神经网络经过多次卷积和池化操作后,海温锋的位置、边缘特征和小目标信息容易被忽视,导致在深度模型使用SST影像检测锋面的结果中海温锋的形态刻画不准确。

    基于以上分析,为进一步刻画出形态更为准确的锋面,实现海温锋边缘轮廓和位置特征信息的提取,本文基于PSPNet网络提出一种适合海温锋不同检测需求的网络模型M-PSPNet,采用深浅层网络融合策略及膨胀卷积方法,突出模型对海温锋空间、边缘轮廓信息的学习能力;并引入混合损失函数,解决海温锋与背景像素不平衡导致的像素误检现象。实验结果表明,相较于现有方法,该模型能刻画出更为准确的锋面,提高海温锋的检测精度。

    • 本文数据来自Remote Sensing Systems(REMSS),可在www.remess.com获得。本文采用REMSS提供的最优插值微波和红外波段融合产品(microwave and infrared, MW_IR)。MW_IR的空间分辨率为9 km,时间分辨率为1 d,该数据综合高空间分辨率与数据穿透性强的优势,解决了云覆盖造成的局部数据丢失问题[23,25]

      本文根据专家经验确立锋区判断标准,将两侧温度差为1~3 ℃/km、水平温度梯度在0.1~1.5 ℃/km区间的水团视为海温锋。为获得充足的海温锋影像,提高数据集的多样性,本文收集了全球海温锋多发地影像,并且采用随机剪裁、翻转、平移操作扩充数据集,获得2087张存在海温锋的SST影像数据。最后,利用标注软件LabelMe对SST影像进行海温锋标注,其中海温锋像素标注为1,背景像素标注为0,标注结果见图1

      图  1  海温锋标注结果

      Figure 1.  The result of ocean temperature front labeling

    • M-PSPNet多尺度海洋温度锋检测模型的基本组成单元是基于卷积核共享权重架构的卷积神经网络。M-PSPNet的体系结构如图2所示,共包含3个模块:(1)多尺度特征提取模块(Multi-ResNet,M-ResNet),该模块对输入影像进行视觉特征提取,通过融合多尺度特征图,提高网络感受野保留影像的细节特征以及高层语义信息;(2)金字塔池化模块,将视觉特征作为输入,分别使用1×1、2×2、3×3和6×6的感知域捕捉不同尺度的局部上下文特征[26],提高模型对目标的检测能力;(3)混合损失函数回传模块,将预测结果与标注值作为输入,通过Focalloss引导模型关注影像中海温锋边缘的小目标信息,并混合Diceloss将损失值回传至网络中引导模型调整参数。

      图  2  M-PSPNet模型结构

      Figure 2.  M-PSPNet model structure

    • 目前,常用的特征提取网络主要有VGG 16、ResNet-101、ResNet-50等[27-28],兼顾考虑模型训练复杂度和锋面弱边缘特性,本文基于ResNet-50设计多尺度特征提取模块,记为M-ResNet,该模块具体结构如图3所示。

      图  3  M-ResNet多尺度特征提取模块

      Figure 3.  The feature extraction module of M-ResNet

      本文多尺度特征提取模块由49个卷积层组成,分为5个阶段。第0阶段由步长为2的7×7卷积层和3×3最大池化层对输入图像进行预处理,其余4个阶段均由两组残差块组合而成。残差块包括标识残差块(identity block, INBK) 与卷积残差块(convolutional block, CNBK),由堆叠的卷积层和激活层与短路连接结构组成。为增加卷积核的感受野,丰富图像的特征信息,同时避免信息连续性的损失[29],将第3、4阶段深层网络的标准卷积层替换为膨胀率为2、4的膨胀卷积层,得到包含丰富海温锋信息的特征图M4。

      M-ResNet通过短路连接结构融合第1、2阶段的浅层特征与第4阶段深层特征。为保持特征编码维度一致,对第1阶段特征使用步长为2、大小为3×3的卷积核计算得到M1,对第2阶段特征使用1×1的卷积核计算得到M2。此外,为获得具有代表性的特征纹理信息,对M1、M2进行最大池化操作。最后,使用add操作将特征矩阵对应元素相加,融合M1、M2和M4,得到该模块的输出特征编码M5。

    • 金字塔池化模块用于将视觉特征编码M5进行多尺度池化,提取M5主要特征,同时保留其在不同尺度下的海温锋特征信息。如图4所示,M5通道数为2048,即由2048个大小为60×60的特征图像组成。该模块使用4个不同尺度的池化层组成金字塔池化模型,每个池化层将M5编码中的特征图分成不同子区域,然后分别对子区域进行平均池化,通过卷积计算调整池化结果的特征层数,将各层池化结果采样至M5大小后拼接成S。最后,将S与视觉特征图M5进行拼接,得到金字塔池化模块的输出特征。

      图  4  金字塔池化结构

      Figure 4.  Pyramid pooling structure

    • 本文结合DicelossFocalloss设计混合损失函数DFloss对网络进行优化。其中,Diceloss侧重评估预测结果与标注值的相似性,Focalloss侧重评估两者的像素级差异,它们的定义如下。

      Dice损失函数(dice loss,Diceloss)是一种用于度量两个样本之间相似性的函数,由Dice系数发展而来,其取值范围为0~1,值越大表示两个样本的相似程度越高[30]

      Diceloss的计算公式如下:

      式中:|x|为标注图像中标记为海温锋的像素个数;|y|为模型预测输出像素点中标记为海温锋的个数;|x$ \cap $y|为标注图与预测图之间的交集,即同时被标记为海温锋像素点的像素个数。

      Focal损失函数(focal loss, Focalloss)是一种基于交叉熵损失函数提出的调节样本不平衡(即小目标样本)和挖掘难以学习样本的损失函数[31]。其公式如下:

      式中:FL(pt)表示图像上每个像素点的Focalloss值;log pt为基本交叉熵损失函数值;pt表示模型在样本该像素点为海温锋像素的概率值;γ为聚焦系数,取值范围为[0,+∞)。当γ取值为0时,Focalloss转换为交叉熵损失函数,γ越大,Focalloss抑制类别不平衡现象的能力越强。因此,Focalloss引导模型在训练中关注难分类样本,能够更好地解决海温锋的弱边缘像素难以正确分类的问题,并且能稳定地回传各类别对应的梯度。

      DFlossDicelossFocalloss的加和值,其计算公式如下:

    • 与传统的计算机视觉任务相比,海温锋检测研究较少,目前没有通用的度量标准来判断锋面检测结果的质量。本文采用4种通用的图像分割度量指标评价模型的海温锋检测性能[30],包括交并比、查全率、查准率、F1值。

    • 本模型的搭建与训练在开源深度框架PyTorch上实现,实验设备为Linux操作系统,设备配置两块NVIDIA TITAN RTX 24 GB显卡。首先,使用随机剪裁、加灰度条的方式将SST影像、标签图的大小调整为473×473作为网络输入。为满足海温锋检测精度需求,本文运用迁移学习思想,使用COCO(common objects in context)语义分割数据集对ResNet-50进行预训练,以此初始化网络权重参数。采用Adam优化算法[32]对模型进行优化,将训练批处理大小设置为8,初始学习率为0.0005,以0.94为倍数降低每次迭代的学习率,训练总共迭代100个周期。实验中训练集与验证集以8∶2的比例划分,即训练集中有1669张样本影像,验证集中有418张样本影像。

    • 为验证本文多尺度特征提取模块的有效性,将本文模型与使用ResNet-50进行特征提取的PSPNet模型进行对比。实验环境与实验数据保持不变,各模型的损失函数使用DFloss,利用验证集对两种模型进行预测和精度评估,结果列于表1

      特征提取
      模块
      度量标准
      交并比/(%)查全率/(%)查准率/(%)F1值/(%)
      ResNet
      -50
      64.1070.0888.2578.12
      M-
      ResNet
      78.9789.5986.9588.25

      表 1  不同特征提取模块的度量结果

      Table 1.  Metric results for different feature extraction modules

      表1可知,本研究使用模型的交并比、查全率、F1值分别提高了14.78%、19.15%、10.13%。采用ResNet-50进行特征提取的模型查准率指标偏高,说明其对海温锋与背景像素具有较好的分辨能力,但模型的查全率与交并比偏低,表示其对海温锋像素敏感度低,定位海温锋的能力较差。浅层网络具有较小的感受野,可以学习到分辨率高、含有更多位置和细节信息的特征。深层网络提取的特征经过多层网络处理,具有较强的图像描述能力,但对细节的感知能力较差。因此,M-ResNet采用深浅层特征融合策略提高了模型的弱边缘检测能力,利用膨胀卷积获取锋面小目标信息,得到较高的交并比与查全率,具有良好的锋面定位能力。

      为了清晰对比两者的不同,本文选取舟山海域SST影像中高强度和低强度的海温锋区域(图5中蓝色框所示)进行检测。由图5可知,M-PSPNet模型对锋面的检测能力明显强于采用ResNet-50的PSPNet模型。采用ResNet-50进行特征提取的模型,对海温锋具有良好的检测能力,但存在边缘定位不准确、误检等问题,如图5中绿框所示。而本文设计的多尺度特征提取模块通过融合多阶段特征图,学习到丰富的海温锋边缘轮廓、位置信息,利于模型对锋面弱边缘进行定位,得到较为准确的锋面位置。

      图  5  不同特征提取模块的海温锋检测结果对比

      Figure 5.  Comparison of oceanic temperature front detection results with different feature extraction model

    • 为验证本文选择第1、2阶段作为浅层特征的有效性,对比使用不同特征融合策略的模型,保持实验环境与实验数据不变,所有测试模型的损失函数均使用DFloss,利用验证集对3种模型进行预测和精度评定,结果列于表2

      特征层度量标准
      交并比/(%)查全率/(%)查准率/(%)F1值/(%)
      M1+M476.5789.6284.0286.73
      M1+M2+M3+M468.4375.9687.3581.26
      M1+M2+M478.9789.5986.9588.25
      注: Mx,x={1,2,3,4},代表特征提取模块不同阶段输出的特征图

      表 2  不同特征融合策略的度量结果

      Table 2.  Metric results of different feature fusion strategies

      表2可知,本文模型的交并比、F1值指标最优,表明本文模型具有更强的锋面定位、像素检测能力。提取4个阶段特征进行融合的模型保留了多层深层网络特征,在最大池化采样过程中会加强深层语义特征,弱化浅层边缘、细节特征。因此,使用全部4个阶段融合的模型检测结果的交并比和查全率指标明显偏低,其锋面轮廓定位能力差。

      为清晰对比三者的不同,同样选取高强度与低强度的海温锋区域(图6中蓝框所示),放大对比3个模型的锋面检测结果。从图6中绿框可知,采用第1、4阶段融合策略的模型与使用4个阶段融合策略的模型在强度低的海温锋检测中存在明显漏检现象,后者对高强度锋面的边缘轮廓细节检测效果同样不理想。而本文方法的检测结果对弱边缘定位准确,减少了漏检、误检现象。综合交并比、F1值判断,本文将第1、2阶段作为浅层特征进行融合,有助于模型学习海温锋的空间、位置信息,提高模型的锋面检测能力以及对弱边缘的定位能力。

      图  6  不同特征融合策略的海温锋检测结果对比

      Figure 6.  Comparison of oceanic temperature front detection results with different feature fusion strategies

    • 为验证本文损失函数的效果,在M-PSPNet模型中分别使用DicelossFocallossDFloss与图像分割领域常用的二范数损失函数(mean squared error, MSEloss)、交叉熵损失函数(cross entropy loss, CEloss)进行对比。保持实验环境与实验数据不变,各模型的特征提取模块采用M-ResNet,利用验证集对5种模型进行预测和精度评定,结果列于表3

      损失函数度量标准
      交并比/(%)查全率/(%)查准率/(%)F1值/(%)
      MSEloss67.9979.8182.1080.94
      CEloss71.6685.7381.3783.49
      Diceloss56.7861.6281.8570.31
      Focalloss77.5788.0480.9384.34
      DFloss78.9789.5986.9588.25

      表 3  不同损失函数的度量结果

      Table 3.  Metric results for different loss functions

      表3可知,与非混合损失函数模型相比,本文模型在4项指标上均有所提升。海温锋在影像中属于小目标,即锋面像素与背景像素存在数量不平衡的现象,MSElossCEloss引导模型偏向背景,检测结果差,各项指标明显偏低。Diceloss引导模型预测结果逐渐向真实结果靠近,但其梯度计算形式复杂,导致可能出现极端值,对反向传播造成不利影响,检测精度低。Focalloss关注小目标信息,提高了模型的锋面定位能力,具有较好的检测结果。本文采用DFloss提高模型对锋面像素、背景像素的辨别能力,检测结果的查全率和查准率具有较大优势。

      为了更直观地对比模型差异,同样选择两个典型区域(图7中蓝方框所示),对比5个模型的检测效果。从图7可知,使用非混合损失DicelossFocallossCElossMSEloss的模型对低强度海温锋的检测效果存在明显像素误检现象,特别是绿框标注区域,而使用DFloss模型能检测出完整锋面,刻画准确的边缘细节,对弱强度锋面的检测效果显著。所以,本文设计的混合损失函数能更好地实现M-PSPNet模型的训练,减少模型误检现象,提高模型对海温锋的检测能力。

      图  7  不同损失函数的海温锋检测结果对比

      Figure 7.  Comparison of oceanic temperature front detection results with different loss functions

    • 为验证本文方法的有效性,将本文模型与传统梯度法(Canny算子)、Mask R-CNN深度学习方法和目前主流图像分割方法(U-Net[33]、Deeplab v3+[34])进行对比实验,其中Canny算子的阈值取[0,200]。实验环境与实验数据保持不变,所有测试模型的Backbone均采用ResNet-50,利用验证集对5种模型进行预测和精度评估,结果列于表4

      模型度量标准
      交并比/(%)查全率/(%)查准率/(%)F1值/(%)
      梯度法6.4713.5711.0012.15
      Mask R-CNN71.0088.4378.0182.89
      Unet63.2184.1471.7777.46
      Deeplab v3+66.282.1877.2979.66
      M-PSPNet78.9789.5986.9588.25

      表 4  不同模型的度量结果

      Table 4.  Metric results for different models

      表4可知,相较于传统梯度法和深度学习方法,本文提出的检测模型在各项指标上均为最优。与传统方法相比,深度学习方法的各指标偏高,表明深度模型对海温锋像素的敏感度高,具备良好的像素分类能力。多尺度海温锋检测模型的查全率、查准率和F1值较高,可以体现其良好的海温锋检测能力,在交并比指标上的优势更加明显,说明本文模型的检测结果与标注图重叠比例大,即定位更准确,具有更好的泛化能力。

      为进一步验证多尺度海温锋检测方法的有效性,本文从验证集中选取部分具有代表性的海温锋影像,具体地对比各个模型的预测结果,如图8所示(红色为海温锋,黑色为背景)。其中第一行为边缘清晰、强度大(即锋区两侧温差大)的海温锋影像,第二、三行为边缘模糊、强度小的海温锋影像,第四、五行为形态曲折、边缘不明确的海温锋影像。图中共有7列数据,按顺序分别是SST影像、对应标注图和5种模型的检测结果。总体来看,相比本文方法,另外4种方法的预测结果都有不足。对比标注图与检测结果,U-Net模型只能识别高强度锋区的大体位置,对锋面边缘的检测效果不理想,误检现象明显;Deeplab v3+模型同样存在误检低强度锋面的现象,但其对锋面边缘的检测效果较U-Net模型更好;基于Canny算子的传统梯度算法只能检测出锋区的明显边缘线。同时,从图8可以观察到,Mask R-CNN模型具有良好的锋面检测效果,但对于形态曲折、边缘线不明确的海温锋的边缘轮廓定位效果差。对比深度学习和传统方法的检测结果,深度学习方法对海温锋的检测效果更好、误检现象更少,说明基于深度学习的方法在提取海温锋方面更具有优势。对比各模型检测结果,本文方法的检测结果更接近标注值,对弱边缘的提取效果更好,能够更准确地描述锋面形态特征。

      图  8  不同模型对海温锋测试集的检测结果

      Figure 8.  Detection results of different models for the oceanic temperature front test set

    • (1)本文提出的M-PSPNet多尺度海温锋检测模型在验证集上的F1值为88.25%,查全率为89.59%,查准率为86.95%,交并比为78.97%,远优于传统梯度法、U-Net、Deeplab v3+和Mask R-CNN 4种对比方法。

      (2)本文设计的M-ResNet特征提取模块采用深浅层特征融合策略,提高了模型对锋面形态的定位能力。

      (3)从不同损失函数引导模型训练结果可知,本文设计的混合损失函数引导模型可学习到更加准确的锋面信息,提高了模型的锋面检测能力。

      (4)从验证集的检测结果来看,本文M-PSPNet模型可以准确提取具有弱边缘、形态曲折特征的海温锋,能够较为精确地描述锋面形态特征。

      (5)本实验中多尺度海温锋检测方法虽然相较于现有方法取得比较大的提升,但仍有拓展空间。一方面,下一步研究将以本文海温锋检测模型为基础,结合边缘检测改进网络结构,实现更精准的海温锋定位,进一步提高检测精度;另一方面,在本文基于海温锋数据集进行锋面自动检测研究的基础上,下一步将根据专家经验划分出数据集中的强、弱锋,实现强、弱锋自动检测。

参考文献 (34)

目录

    /

    返回文章