• 中文核心期刊
  • 中国科技核心期刊
  • ISSN 1007-6336
  • CN 21-1168/X

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种自适应学习率的卷积神经网络模型及应用——以滨海湿地遥感分类为例

陈琛 马毅 胡亚斌 张靖宇

引用本文:
Citation:

一种自适应学习率的卷积神经网络模型及应用——以滨海湿地遥感分类为例

    作者简介: 陈琛(1993-), 女, 山东青岛人, 博士研究生, 主要从事遥感数字图像处理与应用研究, E-mail:chenchen2011c@163.com;
    通讯作者: 马毅, mayimail@fio.org.cn
  • 基金项目: 国家自然科学基金 41206172

    国家自然科学基金 61601133

  • 中图分类号: X87

A Convolution neural network model with adaptive learning rate and its application-a case study of remote sensing classification of coastal wetland

    Corresponding author: Yi MA, mayimail@fio.org.cn ;
  • CLC number: X87

  • 摘要: 滨海湿地是重要的生态系统,开展滨海湿地类型分布监测,对滨海湿地的保护与利用具有重要意义。传统卷积神经网络(CNN)模型中的学习率为人工设置的固定值,本文提出一种自适应学习率的CNN模型,以代价函数为目标函数自动计算学习率的优化值,从而使CNN模型具有自适应性。应用黄河口滨海湿地的CHRIS高光谱遥感影像数据,开展本文提出的CNN模型分类方法验证与优化。实验结果表明:对于不同的学习率搜索区间,自适应学习率CNN模型在[0,1]区间的整体分类精度最高,说明在学习率优化过程中只需在小区间[0,1]内进行微调就能保证较好的分类精度;对于不同的学习率初值,自适应学习率CNN模型的分类精度和稳定性都高于传统CNN模型,说明本文提出的模型对初值敏感性较低;在训练样本数目减少的情况下,两模型分类精度的稳定性都有不同程度的降低,但在保证训练样本占全部样本1.35%以上的条件下,自适应学习率CNN模型稳定性高,说明本文提出的模型对小样本具有一定的适应能力。
  • 图 1  研究区示意

    Figure 1.  Study area

    图 2  典型的卷积神经网络结构

    Figure 2.  A typical convolution neural network

    图 3  标记样本

    Figure 3.  Labeled sample

    图 4  不同学习率搜索区间的分类精度比较

    Figure 4.  Comparison of classification accuracy of different learning rate search interval

    图 5  不同学习率初值的分类模型精度比较

    Figure 5.  Accuracy comparison of classification model with different learning ratios

    图 6  不同训练样本个数的分类模型精度比较

    Figure 6.  Accuracy comparison of classification model for different training samples

    表 1  优化算法具体步骤

    Table 1.  Specific steps of optimization algorithm

    下载: 导出CSV

    表 2  各地物类型及样本数量

    Table 2.  Types of objects and number of samples

    下载: 导出CSV

    表 3  自适应学习率CNN模型的总体分类精度

    Table 3.  The overall classification accuracy of adaptive learning rate CNN model

    下载: 导出CSV

    表 4  学习率搜索区间[0, 1]时CNN模型分类精度

    Table 4.  The classification accuracy of CNN model in learning rate search interval [0, 1]

    下载: 导出CSV

    表 5  两种模型减少训练样本后的分类精度

    Table 5.  The two models reduce the classification accuracy of the training samples

    下载: 导出CSV
  • [1] 王霄鹏.黄河三角洲湿地典型植被高光谱遥感研究[D].大连: 大连海事大学, 2014.
    [2] 马毅, 张杰, 任广波, 等.基于决策级数据融合的CHRIS高光谱图像分类方法研究[J].海洋科学, 2015, 39(2):8-14.
    [3] 吴培强, 张杰, 马毅, 等.基于地物光谱可分性的CHRIS高光谱影像波段选择及其分类应用[J].海洋科学, 2015, 39(2):20-24.
    [4] 费鲜芸, 王婷, 魏雪丽.基于多尺度分割的遥感影像滨海湿地分类[J].遥感技术与应用, 2015, 30(2):298-303.
    [5] 王建步, 张杰, 马毅, 等.黄河口湿地典型地物类型高光谱分类方法[J].海洋学研究, 2014, 32(3):36-41. doi: 10.3969/j.issn.1001-909X.2014.03.005
    [6] ZHANG Y L, LU D S, YANG B, et al.Coastal wetland vegetation classification with a landsat thematic mapper image[J].International Journal of Remote Sensing, 2011, 32(2):545-561. doi: 10.1080/01431160903475241
    [7] 罗建华, 李明奇, 郑泽忠, 等.基于深度卷积神经网络的高光谱遥感图像分类[J].西华大学学报(自然科学版), 2017, 36(4):13-20. doi: 10.3969/j.issn.1673-159X.2017.04.003
    [8] 曹林林, 李海涛, 韩颜顺, 等.卷积神经网络在高分遥感影像分类中的应用[J].测绘科学, 2016, 41(9):170-175.
    [9] 陈玉敏.基于神经网络的遥感影像分类研究[J].测绘信息与工程, 2002, 27(3):6-8. doi: 10.3969/j.issn.1007-3817.2002.03.003
    [10] 圆圆, 李京.遥感影像土地利用/覆盖分类方法研究综述[J].遥感信息, 2004(1):53-59. doi: 10.3969/j.issn.1000-3177.2004.01.015
    [11] 骆剑承, 周成虎, 杨艳.人工神经网络遥感影像分类模型及其与知识集成方法研究[J].遥感学报, 2001, 5(2):122-129.
    [12] 肖锦成, 欧维新, 符海月.基于BP神经网络与ETM+遥感数据的盐城滨海自然湿地覆被分类[J].生态学报, 2013, 33(23):7496-7504.
    [13] WANG L Z, ZHANG J B, LIU P, et al.Spectral-spatial multi-feature-based deep learning for hyperspectral remote sensing image classification[J].Soft Computing, 2017, 21(1):213-221.
    [14] CHEN Y S, JIANG H L, LI C Y, et al.Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J].IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10):6232-6251. doi: 10.1109/TGRS.2016.2584107
    [15] ZHAOW Z, GUO Z, YUE J, et al.On combining multiscale deep learning features for the classification of hyperspectral remote sensing imagery[J].International Journal of Remote Sensing, 2015, 36(13):3368-3379. doi: 10.1080/2150704X.2015.1062157
    [16] SALEMR B, ETTABBA K S, HAMDI M A.Spectral-spatial classification of hyperspectral images using different spatial features and composite kernels[C]//Proceedings of the 1st International Image Processing, Applications and Systems Conference.Sfax, Tunisia: IEEE, 2014: 1-7.
    [17] ZHAOW Z, DU S H.Spectral-spatial feature extraction for hyperspectral image classification:a dimension reduction and deep learning approach[J].IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8):4544-4554. doi: 10.1109/TGRS.2016.2543748
  • [1] 陈柯欣丛丕福雷威 . 人类活动对40年间黄河三角洲湿地景观类型变化的影响. 海洋环境科学, 2019, 38(5): 736-744,750. doi: 10.12111/j.mes20190514
    [2] 李永涛杜振宇王霞杨庆山陈占强孙燕燕刘德玺 . 黄河三角洲自然保护区湿地生态服务功能价值评估. 海洋环境科学, 2019, 38(5): 761-768. doi: 10.12111/j.mes20190517
  • 加载中
图(6)表(5)
计量
  • 文章访问数:  100
  • HTML全文浏览量:  89
  • PDF下载量:  8
出版历程
  • 收稿日期:  2017-11-08
  • 录用日期:  2018-01-04
  • 刊出日期:  2019-08-20

一种自适应学习率的卷积神经网络模型及应用——以滨海湿地遥感分类为例

    作者简介:陈琛(1993-), 女, 山东青岛人, 博士研究生, 主要从事遥感数字图像处理与应用研究, E-mail:chenchen2011c@163.com
    通讯作者: 马毅, mayimail@fio.org.cn
  • 1. 自然资源部第一海洋研究所, 山东 青岛 266061
  • 2. 大连海事大学 信息科学技术学院, 辽宁 大连 116026
基金项目:  国家自然科学基金 41206172国家自然科学基金 61601133

摘要: 滨海湿地是重要的生态系统,开展滨海湿地类型分布监测,对滨海湿地的保护与利用具有重要意义。传统卷积神经网络(CNN)模型中的学习率为人工设置的固定值,本文提出一种自适应学习率的CNN模型,以代价函数为目标函数自动计算学习率的优化值,从而使CNN模型具有自适应性。应用黄河口滨海湿地的CHRIS高光谱遥感影像数据,开展本文提出的CNN模型分类方法验证与优化。实验结果表明:对于不同的学习率搜索区间,自适应学习率CNN模型在[0,1]区间的整体分类精度最高,说明在学习率优化过程中只需在小区间[0,1]内进行微调就能保证较好的分类精度;对于不同的学习率初值,自适应学习率CNN模型的分类精度和稳定性都高于传统CNN模型,说明本文提出的模型对初值敏感性较低;在训练样本数目减少的情况下,两模型分类精度的稳定性都有不同程度的降低,但在保证训练样本占全部样本1.35%以上的条件下,自适应学习率CNN模型稳定性高,说明本文提出的模型对小样本具有一定的适应能力。

English Abstract

  • 滨海湿地是陆地生态系统和海洋生态系统的交错过渡地带,兼有陆地和水域生态系统的特点。因其独特的结构和功能,滨海湿地拥有丰富的植被类型,是大量野生动物天然的栖息地,在维持生态平衡、保持生物多样性和珍稀物种资源以及涵养水源、蓄洪防旱、调节气候等方面均起到重要作用。由于滨海湿地植被的特殊性和重要性,开展对滨海湿地植被类型分布的研究对保护滨海湿地的资源环境具有重要意义。遥感技术具有大面积同步观测、高时空分辨率的优势,可以有效解决滨海湿地腹地区域人员难以进入,现场监测困难等问题,是目前滨海湿地监测的重要手段。

    近年来,关于滨海湿地遥感分类的研究取得了不少成果。根据滨海湿地典型植被光谱遥感特征,提出了基于决策树的分层分类方法[1]、不同监督分类方法融合的决策分类方法[2]、利用现场实测光谱来选择特征波段[3]、多尺度分割方法[4]等对滨海湿地遥感影像进行分类。针对湿地植被易被混分的问题,在利用线性光谱混合分析模型的基础上,结合归一化植被指数和归一化水体指数[5]、图像分割和专家解译[6]等方法使分类精度有所提高。目前,基于神经网络的图像分类方法显现出优势,并受到国内外学者的重视[7-12]。其中,肖锦成等[12]开展了盐城局部滨海湿地覆被分类,构建了基于BP神经网络的滨海湿地覆被分类模型。可以看出,神经网络在图像分类方面应用广泛[13-17],但在滨海湿地遥感图像分类方面的应用还不多见。深度学习作为更深层更复杂的网络模型,具有强大的特征学习与分类能力,是遥感分类方法的一个新领域。学习率作为卷积神经网络(CNN,convolution neural network)的参数之一,以人工设置的固定值参与网络训练,即每次都以固定步长进行网络参数的优化,对目标函数(这里指代价函数)的下降没有自适应性。学习率过大或过小可能会产生过拟合或欠拟合等问题,在目标函数性态未知的情况下,以人工设置的学习率和迭代次数作为步长和终止条件,往往会导致工作量大和效率低下。

    本文提出一种自适应学习率的CNN模型,通过一维搜索寻找极值的思想,实现学习率在训练模型过程中的自动优化。将该模型分别与传统的CNN模型在学习率搜索区间设置和学习率初值设置两方面展开对比实验和讨论,并以覆盖黄河口滨海湿地遥感影像为例开展应用,对研究区地物类型进行分类和精度评价。

    • 研究区位于山东省北部的渤海之滨,东营市黄河入海口处,属黄河三角洲国家级自然保护区,该保护区现已列入国际重要湿地名录(2013年)。黄河口滨海湿地地理坐标为37°35′N~38°12′N,118°33′E~119°20′E,由黄河入海口和1976年以前引洪的黄河故道两部分组成,总面积1.53万公顷。保护区三角洲由黄河近百年来携带大量泥沙填充成陆而成的海相沉积平原,水源充足,海淡水交汇促进泥沙絮凝沉降形成泥滩,生长有许多湿地植被与珍稀动植物,具有很高的科研价值。

      CHRIS全称为紧凑式高分辨率成像光谱仪,是ESA搭载于新一代微卫星PROBA上的传感器,成像模式多,可获取0°、+36°、-36°、+55°和-55°等5种角度的高光谱图像。本文应用的实验数据是2012年6月获取的黄河口滨海湿地CHRIS工作模式2的0°图像,其光谱范围是406~1035 nm,光谱分辨率是1.25~11.00 nm,共18个波段,地面分辨率为17 m,图像大小为512*512,假彩色合成后如图 1所示,该区域生长的滨海植被主要有芦苇、柽柳、碱蓬和互花米草。

      图  1  研究区示意

      Figure 1.  Study area

    • 卷积神经网络是一个多层的神经网络,包括输入层、卷积层、降采样层(池化层)、全连接层和输出层,每层都是一个映射,每种映射(即卷积或降采样)对输入数据进行相应处理,得到输入特征的另一种特征表达;每层由多个二维平面组成,每个平面为各层处理后的特征图。图 2为一个卷积神经网络的结构图。

      图  2  典型的卷积神经网络结构

      Figure 2.  A typical convolution neural network

      输入层为训练数据,即原始数据,网络中的每一个卷积层都紧跟着一个降采样层,这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。具体卷积层和降采样层的个数依据具体实验而定。最后一个降采样完成了对原始数据的特征提取,将该层的特征数据进行向量化即全连接层,然后连接到相应分类器,最终得到输出层。

      卷积神经网络的训练主要包括前向传播、反向传播和权值更新等三个阶段。前向传播即将样本输入卷积神经网络,经过卷积、降采样及全连接之后得到相应的输出;后向过程是指计算实际输出与理想输出的差值,按极小化误差的方法调整权值矩阵。求出神经网络中参数的导数(梯度方向),使用梯度下降法求解代价函数的最值,将求得的最终参数更新到网络中。

    • 针对学习率取值在训练网络模型时需人工设置且难把握的问题,本文提出一种自适应学习率的CNN模型,实现在训练模型时学习率取值的自动优化。

      定义训练样本集为{(x(1), y(2)), …, (x(m), y(m))},包含m个样例,x是输入样本,y是对应的标签,对于单个样例(x, y),由下面的公式(1)得到代价函数J

      式中:hW, b(x)表示网络的激活函数;W为权重;b为偏置。

      在更新权值时,梯度下降法中每一次迭代都按照公式(2)、(3)对网络的第l层权重W和偏置b进行更新:

      式中:α为迭代的步长,也就是学习率。式(2)、(3)中偏导数分别由下面的公式(4)、(5)给出:

      对于上式(2)、(3)中的学习率α,在传统的CNN模型中是一个给定的值。为了让迭代时的搜索步长能够根据距离最优值的远近进行自动调节,本文将权值更新过程看作一维搜索问题,用代价函数求极小,继而得出最合适的迭代步长,即学习率。

      本文提出一种将试探法和函数逼近法相融合的算法,求解学习率优化问题。优化算法步骤见表 1。试探法即按照某种规律来确定区间内插入点的位置,函数逼近法是通过构造插值函数来逼近原函数,用插值函数的极小点作为区间的插入点。本文融合试探法中的黄金分割法和函数逼近法中的二次插值法求解目标函数最优解。黄金分割法具有稳定、计算简单和效率高的优点;二次插值法收敛速度快,尤其是在搜索区间较小时更具优势。在CNN每次迭代的最后,下次迭代之前,加入关于学习率的最优化过程,考虑到计算的复杂性和学习率可共享的问题,该优化过程以尾部单层感知机权值和偏置代入求得代价函数,作为学习率的目标函数进行优化。

      表 1  优化算法具体步骤

      Table 1.  Specific steps of optimization algorithm

      用上述两算法对目标函数求极值时,首先产生一个初始点,即区间的黄金分割点。用黄金分割法进行迭代,直到两步迭代得到的f(x)相差不大时,用二次插值法迭代。如果二次插值法得到的点与黄金分割法得到的f(x)相差不大,则用二次插值法迭代,直到满足精度要求;如果相邻两次二次插值法的差值和自变量的差值都很小,则继续迭代,直到满足精度要求,否则将使用黄金分割法进行迭代,直到满足精度要求。

    • 本文研究区覆盖多种湿地地物类型,现将其划分为芦苇、滩涂与裸地、碱蓬柽柳混生、互花米草和水体5类地物类型。根据2012年两次现场踏勘和2012年5月的ZY-3遥感图像(空间分辨率2.1 m),建立了地物类型标记,如图 3(a)所示。

      图  3  标记样本

      Figure 3.  Labeled sample

      研究区所含样本总数为262144个,遵循训练样本具有典型代表性并且样本分布尽量均匀的原则,利用相关的参考资料和专家解译知识在遥感影像上选取标记训练样本区,总共选取了4424个训练样本,样本分布如图 3(b)所示,选取的每一类地物样本数量如表 2所示。本文所用的卷积神经网络结构为2个卷积层、2个池化层、1个全连接层,共5层。

      表 2  各地物类型及样本数量

      Table 2.  Types of objects and number of samples

    • 将自适应学习率CNN模型中的其他参数固定,设置学习率的系列一维搜索区间进行模型训练。模型隐含层C1(k)-S1-C2(k)-S2的参数设置为6(3)-1-10(3)-1,即第1层卷积核个数设置为5个,第2层卷积核个数设置为10个,卷积核大小均为3*3,池化尺度为1,批训练个数为2,训练迭代7次。分类精度如表 3所示。

      表 3  自适应学习率CNN模型的总体分类精度

      Table 3.  The overall classification accuracy of adaptive learning rate CNN model

      选取学习率初值0.5、1、1.5、2.5、3.5、4.5、5,设置五组搜索区间进行实验。由上表可知,学习率初值一定时,搜索区间越大,分类精度越低,迭代时间增加。整体来看,搜索区间为[0, 1]和[0, 2]时分类结果较好。区间[0, 3]、[0, 4]和[0, 5]分类精度较低且稳定性较差。可以看出,该模型在小区间[0, 1]内进行微调就能保证较好的分类精度,而可调区间越大反而会使精度降低。

    • 选取搜索区间[0, 1],将CNN模型中的参数设定为6(3)-1-10(3)-1,批训练个数为2,训练迭代7次,设置10组学习率的初值进行实验。分类精度如表 4所示。

      表 4  学习率搜索区间[0, 1]时CNN模型分类精度

      Table 4.  The classification accuracy of CNN model in learning rate search interval [0, 1]

      结合图表可知,CNN模型的分类精度随初值变化明显,整体随初始学习率的增大而提高,受初值影响大;自适应学习率的CNN模型在学习率区间固定的情况下,分类精度随初值变化不大,随学习率的增加有缓慢上升趋势,精度受初值影响较小,基本保持稳定,说明模型对初值不敏感。自适应学习率CNN模型的分类精度稳定且整体高于CNN模型,实现了自适应地调节学习率,并且使分类精度达到了高而稳定的效果。学习率自适应的实现,使CNN模型在训练过程中不受学习率初值的影响,减少了学习率调节的过程。

      图  4  不同学习率搜索区间的分类精度比较

      Figure 4.  Comparison of classification accuracy of different learning rate search interval

      图  5  不同学习率初值的分类模型精度比较

      Figure 5.  Accuracy comparison of classification model with different learning ratios

    • 卷积神经网络通过不断学习训练样本的特征,构建出高分类精度的模型,而训练样本数量的多少对模型的分类精度会有一定影响。机器学习就是从大量的训练样本中学习特征进而对图像完成分类,训练样本越多,学习到的不同类型地物的特征越多,对图像成功分类的精度就会随之提高。原训练样本占总体样本数量的1.69%,分别取5类地物的训练样本数量的90%、80%、70%、60%、50%,其分别占总体样本数的1.52%、1.35%、1.18%、1.10%、0.84%,测试样本不变。用这5组新的训练样本进行卷积神经网络的构建,并对研究区进行地物分类,分类精度见表 5。抽取的训练样本遵循随机性原则,网络模型的参数设置为6(3)-1-10(3)-1,批训练个数为2,训练迭代7次,学习率初值为0.5,搜索区间为[0, 1]。

      表 5  两种模型减少训练样本后的分类精度

      Table 5.  The two models reduce the classification accuracy of the training samples

      图  6  不同训练样本个数的分类模型精度比较

      Figure 6.  Accuracy comparison of classification model for different training samples

      由上表可知,在训练样本不断减少的情况下,CNN模型和自适应学习率CNN模型的分类精度呈明显的下降趋势。在保证样本数量占总样本数的1.35%以上时,自适应学习率CNN模型分类精度比CNN模型稳定,基本都在80%以上,说明本文提出的模型对小样本具有一定的适应能力。而在样本数量过少的情况下,两种模型精度都比较低,模型性能不稳定,由此可得出,对于本文的研究区,训练样本在总体样本数量的1.35%以上时,卷积神经网络能够实现成功分类。

    • 本文提出了自适应学习率CNN模型,对学习率进行了自动优化处理,具体是在每次迭代时求得学习率的最优值,并应用于下一次迭代的网络参数优化过程当中,实现学习率的自动调节,开展了滨海湿地地物类型的分类实验,并进行了精度评价。

      (1) 学习率初值一定时,搜索区间越大,分类精度越低,迭代时间增加。当学习率的范围控制在0到1之间时,能取得较好的分类精度。

      (2) 学习率搜索区间一定时,CNN模型的分类精度受初值影响大,自适应学习率的CNN模型受精度受初值影响较小,基本保持稳定,实现了学习率的自适应调节。

      (3) 两模型的分类精度随训练样本的减少呈明显的下降趋势。本文研究区,卷积神经网络在实现成功分类时,模型的训练样本数量至少要占总体样本数量的1.35%。

      (4) 本文针对同一数据集,开展了自适应学习率CNN模型的图像分类实验,今后将考虑在不同数据集上使用该模型进行实验,进一步验证该模型的实用性。文中只选用了一组网络参数,6(3)-1-10(3)-1,批训练个数2,训练迭代7次,未进行调参,得到的分类实验结果或许不是最高的精度,原因在于,在网络参数同一标准的情况下,只进行学习率的参数调节,进而探索自适应学习率CNN模型相比于CNN模型的优势,今后将在网络参数的调整上进行实验并讨论其在提高分类正确率上的作用。

参考文献 (17)

目录

    /

    返回文章