测 绘 学 报
Acta Geodaetica et Cartographica Sinica
第50卷第3期2021年3月
Vo .50, No.3March,2021
2021.20200038.
LIU Qinghao , ZHANG Yonghong, DENG Min t et al.Time series prediction method of large-scale surface subsidence based on deep learning [ J ]. Acta Geodaetica et Cartographica Sinica , 2021, 50 ( 3 ) ： 396-404. DOI ： 10. 11947/j. AGCS. 202120200038．
大范围地表沉降时序深度学习预测法
刘青豪12，张永红2，邓 敏1，吴宏安2，康永辉2，魏钜杰2
1.中南大学地球科学与信息物理学院，湖南长沙410083；
2.中国测绘科学研究院，北京100830
Time series predictio n method of large-scale surface subside n ee based on deep earnng
LIU Qinghao 1,2,ZHANG Yonghong 2 ,DENG Min 1, WU Hongan 2,KANG Yonghui 2 ,WEI Jujie 2
1. College of Earth Science and Information Physics , Central South University , Changsha 410083, China ；
2. China
Academy of Surveying and Mapping , Beijing 100830, China
Abstract ： Surface subsidence not only affects the sustainable development of social economy , but also
threatens the safety of human life ・ High precision prediction of surface subsidence is of great significance for the prevention of geological disasters ・ However, the existing prediction methods are difficult to obtain
reliable prediction results because of the model parameters or the lack of relevant dot a . For this problem , a method of surface subsidence prediction based on deep learning is proposed ・ Firstly , the multiple master
image coherent target small-baseline InSAR (MCTSBJnSAR ) is used to obtain the inversion results of large
area and high precision ground deformation time series ・ Secondly , the cyclic neural network is used as the network framework , and the long short-term memory (LSTM ) model s used to learn the characteristics of
ground settlement. Finally , the grid search method is used to adjust the model parameters , then get the optimal combination scheme of model parameters . The actual observation results show that the average absolute error (0.5 mm ) of the prediction model proposed in this paper is reduced by 27.5% at least , and
the average prediction accuracy of differential settlement is improved by 8.9% at least. The results of spatial pattern analysis show that the LSTM model is effective for the short-term prediction of large-scale
time series deformation .
Key words ： ground settlement ； time series prediction ； deep learning ； LSTM ； InSAR
FoLindalion supporl : The National Natural Science Foundation of China (Nos. 41874014；41730105) ； The Key Project of International Science and Technology Innovation Cooperation between Governments (No.
2017YFE0107100) ； The Basic Scientific Research Business Cost Project of China Academy of Surveying and MappingSciences (No.AR 1938)
摘 要：地表沉降不仅影响社会经济的可持续发展，还威胁人类的生命安全.高精度的地表沉降预测对
可靠的预测结果，针对此问题，本文提出一种基于深度学习的地表沉降预测方法.首先采用多主影像相
干目标小基线干涉技术MCTSBJnSAR 获取大区域高精度地表形变时序反演结果；其次利用循环神经
网络作为网络架构，用长短期记忆(LSTM)模型进行地表沉降特征学习；最后采用网格搜索的方法调整 模型参数，进而获取最优的模型参数组合方案.实际观测结果显示，相较于现有地表沉降预测方法，本 文提出的预测模型平均绝对误差(0.3 mm )至少降低了 27.3%，差分沉降量平均预测精度至少提高了
8.9% .空间格局分析的结果表明丄STM 模型对于大区域时序形变的短期预测是有效的.
关键词：地表沉降；时间序列预测；深度学习；长短期记忆；InSAR
第3期刘青豪，等：大范围地表沉降时序深度学习预测法397
中图分类号：P237文献标识码：A文章编号：1001-1595(1011)03-0396-09
基金项目：国家自然科学基金(41874014；41730105)；政府间国际科技创新合作重点专项(2017YFE0
107100)；中国测绘科学研究院基本科研业务费(AR1938)
地面沉降是指在自然和人为因素作用下，由于地壳表层土体压缩而导致区域性地面标高降低的一种环境现象，又称地面下沉或地沉由于城市化的快速发展，人类对自然资源的需求不断增加，煤、石油、天然气、地下水等自然资源的不断开采使得地面沉降问题变得越发严重，地面沉降问题已成为世界性的地质问题。因此，开展大范围地面沉降预测预报分析，对国土空间规划、防灾减灾等具有重要的研究价值和现实意义。
在大范围地表沉降预测方面，目前的研究并不丰富。文献检索发现，已有的地表沉降预测方法主要可归纳为三大类：基于物理机制的方法、基于数理统计的方法以及基于机器学习的方法。基于物理机制的方法从沉降内部的物理演化过程出发，通过实地检测和试验的方式获取包含岩性特征、水文特征在内的一系列复杂的物理参数，进而对地面沉降进行模拟与预测常见的模型包括采矿沉降模型、地铁沉降模型、地下水耦合模型等。然而，由于各种参数的存在，很多情况下需要对该类方法做出严格的假设才能应用，而这些假设有时可能会失效，如，由于地表沉降现象存在复杂的成因而难以确定的趋势性及周期性等。基于数理统计的方法通过分析大量历史监测数据的内在关系及发展规律，采用包含回归分析、灰预测等在内的数学模型来实现地面沉降的模拟。然而，由于未考虑地下岩土介质的本构关系，该类方法通常难以推广。采用此类方法的研究主要有文献［5—7］能否正确选择参数模型在很大程度上决定了该类方法预测结果的准确率。基于机器学习的方法是在计算机的辅助下进行沉降特征
的学习，不受研究区域地质及水文等复杂物理参数的限制。其原理中的回归思想与时间序列预测有着紧密的关系8，经典的支持向量回归、人工神经网络、贝叶斯网络、小波分析等方法在时间序列预测方面均取得了不错的效果卩2。该类方法依赖历史数据的驱动。现有的机器学习方法在地表沉降预测方面尚存在两个困难：首先，高维的数据不仅影响了机器学习的速度，而且可能包含错误的噪声信息，如何从高维数据中选择关键的特征进行学习直接影响着沉降预测的精度；其次，由人类活动导致的地下水位升降等相关数据与沉降观测点的粒度难以匹配，生硬的插值必然降低训练样本的质量。以上两个难题使得机器学习方法因特征选择困难或样本粒度的差异而难以得到较高的预测精度，并且模型的泛化能力较弱，难以对存在地质条件差异的区域进行沉降预测。因此，如何利用历史数据建立有效的预测模型，对未来地表沉降进行模拟，是一项十分重要的工作。
综合上述分析可以发现：在大范围地表沉降预测中，现有沉降预测方法因模型参数难以获取或相关数据的缺乏而难以得到可靠的预测结果炉2，通过分段线性逼近来实现沉降时间序列的非线性拟合，在本质上忽略了时间序列中的非线性关联本文提出一种基于深度学习的地表沉降时序预测方法，并通过沧州地区2012—2016年地表沉降InSAR监测数据进行建模验证。结果表明，该方法具有很好的预测效果。
1基于LSTM的地表沉降时序预测方法近年来，深度学习作为一种新的机器学习方法受到很多行业的高度关注［316］其中，循环神经网络(recurrent neural network,RNN)能够使得网络当前的运行不仅跟当学习法
前的输入数据有关，并且可以与之前的数据建立联系。然而，每个隐含细胞单元计算的最后都要经过一个非线性函数，使其输出为［0,1］之间的结果，这使得十几次运算后数值会衰减到很小而无法记忆较远位置的数据。此外，梯度爆炸也是普通RNN模型容易面临的困难。为解决这两种问题，文献［16—17］提出了长短期记忆(long short-term memory, LSTM)网络模型。该模型是一种特殊的RNN，通过在隐藏层增加门机制来控制信息的流失，再经过反向传播过程的动态调整，使得网络可以学习长距离的时间序列数据。本文正是利用了LSTM模型的这一优点，提出基于LSTM模型的大范围地表沉降时序预测方法。
1.1长短期记忆网络模型
隐藏层是整个LSTM网络的核心，由多个LSTM细胞单元组成，细胞单元的结构如图1所示。
398March2021Vol.50No.AGCS http：/xb.sinomaps
图1LSTM隐藏层细胞结构
Fig.1Cell structure of LSTM hidden layer
图1中共显示了一层隐藏层中的3个细胞单元。x表示样本时间序列中第t时刻的输入，/i t 表示相应细胞单元的隐含状态输出。每个细胞单元中依次进行数据输入、信息遗忘、细胞状态更新以及隐含状态输
出，其前向计算方法可以表示为
i t=s(W x X t+Wh—1+W c t—1+卩)(1)
f t=o(W xf X t+W f h—1+W f C—1+f)(2)
c=fC t—1+Z t tanh(W c X t+W h—+»)(3) o t(W x X t+W ho k t—1+W co C t+〃。)(4)
h t=o tanh(c t )(5)式中,、f、c、o分别表示输入门、遗忘门、细胞状态、输出门W和b分别为对应的权重系数矩阵和偏置项；和tanh分别为sigmoid和双曲正切激活函数。LSTM模型训练过程采用的是与经典的反向传播算法原理类似的BPTT算法［8］主要包括4个步骤：①按照前向计算方法计算LSTM细胞的输出值，即式(5)；②反向计算每个LSTM细胞的误差项，包括按时间和网络层级两个反向传播方向；③根据相应的误差项，计算每个权重的梯度；④应用基于梯度的优化算法更新权重。
1.2基于LSTM的地表沉降时序预测模型
基于前述LSTM预测原理，结合地表沉降中单变量短时序的数据特征，构建了基于LSTM的地表沉降时序预测模型。该模型的整体框架如图2所示，包括输入层、隐藏层、输出层、网络训练以及网络预测5个功能模块。输入层负责对原始地表沉降数据进行预处理以满足网络输入要求隐藏层采用图2表示的LSTM细胞搭建循环神经网络，输出层提供预测结果，网络训练采用ADAM优化算法，网络预测采用迭
代的方法逐点进行预测。
通过长短期记忆网络动态的调整，模型可以充分学习不同沉降时间序列中的非线性关联，进而可以捕获研究区域中的复杂沉降机理。该方法
不仅可以降低预测过程对历时数据质量的要求，而且从本质上可以提高沉降预测精度与可解释性。
一
输
出
层
「
模型预测
预测样本沉降时序
一
陈小春个人资料
输
入
层
一.
图2基于LSTM的地表沉降时序预测框架Fig.2Prediction framework of land subsidence time series based on LSTM
金鱼一1.2.1数据预处理
时间序列分析法是根据序列过去的变化趋势来预测未来的发展变化，因此事物的发展需具备一定的持续性［9］。为确定最优的序列长度，获取高质量的训练样本，对累计或差分沉降量时间序列(下称“沉降时序”)进行预处理。首先将每个观测点的沉降时序记为D m={d1，几，d m}，则每个沉降时序中可提取出一个长度为可控参数L 的训练样本，记为D gn={d m-L，血—L+1…，d m—1}，其中，样本的后Y个数值用作样本标签，前(L—Y)个数值用作样本输入，且满足约束条件2<L<m.1<Y<L o其次，考虑到沉降时序的数量级对模型训练效果的影响，对每个训练样本进行之-score标准化(均值为0，标准差为1，表示为score)，标准化后的训练样本可以表示为
D train{"m-L，d m-L+1，，**，d m-1}(6)
m m m
d t=Cd t—工d/m)/工(d t—工d/m)2/m
t=1V t=1t=1
(7式中，m—L WtW m—1,W N
。
第3期刘青豪，等：大范围地表沉降时序深度学习预测法399
样本划分形式如图3所示，按此分割方法对所有n个高相干点进行预处理，共可提取n个训练样本。需要补充的是，样本标签Y的长度可根据实际需求来调整。然而，大量的试验结果表明:①随着样本标签长度的增加，模型的平均绝对误差会逐渐变大;②单步预测中任意时刻的各项误差相对多步预测均更低。因此，本文优先采取单步预测的方式建立网络模型，即定义输出序列Y 的长度为1通过前(L—1)个时刻的沉降信息预测第L时刻的沉降〃鳥—1。
图3单个沉降时序中的样本划分
Fig.3Sample division in single settlement time series
1.2.2网络训练
网络训练主要以隐藏层为研究对象。从图2可以看出，隐藏层包含(L—1)个依次连接的同构LSTM细胞单元，经过每个细胞单元的模型输出可以表示为
。=LSTMf°“d(X t H t—1C—1)(8)式中，H「1、c—1表示前一个LSTM细胞单元的隐含状态和细胞状态；LSTM for w ar d表示式(5)所述前向传播计算方法，图2中隐藏层输出值Y ped，即经过所有细胞单元的最终输出。显然，隐藏层输入{d Z—L d Z—L+1,…，d m—2}为(n,L—1)的二维数组，隐藏层输出Y ped、样本标签Y均是(n,l)的一维数组，其中，n表示高相干点的个数。选用均方误差作为误差统计指标，训练过程的损失函数可以定义为
n
loss=工(Y pred—Y)2/n(9)
t=1
本文选用文献[20]提出的适应性动量估计(adaptive moment estimation,ADAM)算法作为优化器。该算法融合了AdaGrad[21](adaptive gradient algorithm)和RMS Prop[2](root mean square Prop)算法的优势，能够对不同参数计算适应性学习率并且占用较少的存储资源。与其他随机优化方法相比，ADAM算法在实际应用中整体表现更优[0]。设定损失函数最小为优化目标，给定样本分割长度L、网络层数K
、隐藏层节点数S、学习率/以及训练次数epochs，不断更新网络权重，进而得到训练好的预测模型。
在构建上述LSTM预测模型中，涉及众多网络参数，其中以样本划分长度L、网络层数K和每层LSTM隐藏层的特征数量S最为关键
为了达到更好的预测效果，本文采用多层网格搜索的方法对这3个参数进行优选。以平均预测精度最高作为参数优选的依据，即预测样本的沉降量预测误差£(丫，丫卩涙)最小，目标函数可以表示为
mi n e(Y Y pe)=Y p re d—Y
2£L V m step L L
2<K<i step K|K
s.t J”八(10)
10S S max stCPstate S
丄，K,S W N
式中，step L、step K和step s分别为对应参数的网格搜索步长;L、K和S这3个参数构成了一个三维搜
索空间，可以通过多层网格搜索算法获取最优参数组合。搜索过程主要包括3层，从内到外分别对LK和S进行网格搜索。固定上述参数以外的其他超参数设置，包括迭代次数、批数等，根据式(10)预设3个参数的取值范围，其中，网格搜索范围i与S g需要根据预测效果由人为经验设定m表示沉降时间序列长度。此外，学习率/也是模型训练过程中影响较大的参数，当学习率较高时，损失函数收敛较快，反之，损失收敛较慢。研究表明，随着损失函数收敛情况做动态调整的学习率可以使模型得到更好的预测结果，因此，本文试验中采用衰减学习率的方式，将学习率按照实际效果每迭代20次乘以一个0.1的衰减系数。
1.2.3网络预测
本小节应用训练好的LSTM网络(表示为LSTM；t)进行预测。首先，从每个高相干点的沉降时序中截取D ped={"m—L+1，d m—L+2…，d m}作为预测样本，与网络训练相同，预测样本的前(L—1)个数值用作网络输入，第L个数值作为样本标签，且满足约束条件2C L<m o显然，本文设计的样本提取方式共得到n个训练样本及n个预测样本。通过调整超参数，模型可以同时在训练及验证过程中表现出满意的效果，最终得到用于预测未来时刻沉降量的模型LSTM；”
将标准化后的所有预测样本逐点输入LSTM：t中，输出结果可以表示为
Y pred{y1,2，•••,"}(ID
扭扭体操400March2021Vol.50No.3AGCS http：〃xb.sinomaps
式中Y ped表示模型对不同高相干点预测结果的集合。最后，通过计算网络训练及网络预测过程中输出结果Y ped与真实样本标签Y的偏差，定量地给出模型训练和预测的精度。具体表示为
卜=10011
-當%(12)
七夕红包n
MAE=n g (3)
n
MAP=Y(14)
n,=i
式中，“表示模型平均预测精度;MAE表示平均绝对误差;MAP表示平均实际沉降量。
1.3对比预测模型
为验证本文方法与现有时间序列预测方法相比所具有的优势，将LSTM模型与传统的时间序列预测模型、机器学习模型进行试验对比，选择模型建立时间与预测误差作为评价指标。为降低时间成本，试验数据采用统一的数据源(见后文)对于传统的时间序列预测模型，选择二次指数平滑(second exponential smoothing method,SES).自回归移动平均(autoregressive integrated moving average,ARIMA)、多兀线性回归(multiple linear regression,MLR)模型进行试验对比。其中，二次指数平滑法是一种能够处理含有趋势性成分的时间序列分析方法［3］，平滑指数a的取值大小决定了序列前期实际沉降值与预期值对本期预测值的影响；自回归移动平均法是时间序列分析中应用最广泛的模型之一［4］，模型可以表示为ARIMA pd,)，其中p、d、q分别为自回归项数、差分次数、移动平均项
vivo输入法数［5］。这3个参数通常可以通过观测自相关函数和偏自相关函数确定。该方法不直接考虑其他相关随机变量的变化。此外，多元线性回归也是一种广泛应用于预测任务的多因素分析方法［6］。在实际问题中，一个因变量往往受到多个自变量的影响，因此，多元的回归分析成了时间序列预测中受欢迎的方法。
对于机器学习模型，本文选择经典的支持向量回归(support vector regression,SVR)模型作为代表。该方法的思想是通过一个非线性核函数将多维输入映射到更高维度的特征空间后执行回归运算，进而得到与输出指标对应的非线性映射关系。在回归模型中，不同的核函数对拟合的结果会有较大的影响。本文选择常用的高斯径向基函数作为非线性核函数，本文采用Matlab2016中的支持向量回归工具箱完成该方法的预测试验，模型中惩罚参数C与核函数参数g通过交叉验证法求取最优设置。
2沧州地区地表沉降预测结果与分析
2.1数据源
选取近年来地表沉降现象严重的沧州地区［门为研究区域。以2017年1月至2019年12月获取的80期Sentinel!A影像为遥感数据源，采用自主研发的多主影像相干目标小基线(multiple master-image coherent target smallbaseline interferometric SAR,MCTSB-InSAR)技术开展前期数据准备工作。最终反演得到430476个高相干点的沉降时序，其中每个观测点位拥有80个形变记录。为验证InSAR测量结
果的可靠性和精确性，采用沧州地区国家二等水准数据进行对比验证。结果表明，本文数据源的反演结果精度为7.2mm，足以支持本项研究［9］。Sentinel1A影像时空基线参数如表1所示。对时间基线序列的平稳性检验结果表明，一阶差分后的时间间隔是平稳的，因此忽略了非等时间间隔对预测误差的影响。
Tab.l Spatial and temporal baseline of Sentinel-1A images 表1Sentine--1A影像时空基线参数
序号成像日期时间基线/d垂直基线/m
12017-01-0800
22017-02-0124—60
32017-03-096015
42017-03-2172—47
52017-04-0284—79
802019-12-121068—71
2.2试验结果
采用上述形变反演结果，对每个观测点的沉降时序进行了预处理，共得到容量为430476的训练样本。根据实际训练情况，本文中z与S m”分别设定为7与100时足以发现最优的网络参数。首先通过网格搜索算法分析了样本输入、输出长度对预测效果的影响。图4为不同样本划分方式下的预测结果，其中，网络层数设置为3，隐藏层神经元数量设置为30o平均绝对误差热力图表明：随着输出序列长度的增加，不同样本输入长度下的模型误差均有所升高，其中，每个网格数
发布评论