[0001]技术领域
[0002]本发明属于灾害监测技术领域，尤其涉及一种冻土热融滑塌识别方法和装置、系统、存储介质.
[0003]背景技术
[0004]气候变暖背景下的冻土区，其热融滑塌(RTS)灾害频繁发生，将对生态环境、基础设施等产生一系列灾害效应。可见，快速、精准识别RTS显得尤为重要。但现有的RTS深度学习识别方法多使用卷积神经网络(CNN)架构方法，难以在复杂地理地质环境下准确提取RTS，且存在针对细小RTS漏检和误检较多的问题。
[0005]发明内容
[0006]本发明要解决的技术问题是，提供一种冻土热融滑塌识别方法和装置、系统、存储介质。
[0007]为实现上述目的，本发明采用如下的技术方案：
[0008]一种冻土热融滑塌识别方法，包括：
[0009]步骤S1、获取预设区域的永久冻土影像信息；
[0010]步骤S2、根据预设区域的永久冻土影像信息训练双编码器RTS提取网络HUTNet，得到RTS识别模型；双编码器RTS提取网络HUTNet包含：用于提取局部空间特征的基于CNN的U-Net编码器、用于提取全局上下文信息的基于Swin Transformer的Transformer编码器和用于交叉增强来自两个编码器的特征的特征融合模块；Transformer编码器采用通道注意力模块CIM替换Swin Transformer块的全连接层；
[0011]步骤S3、将目标区域的永久冻土影像信息输入到RTS识别模型中进行冻土热融滑塌识别。
[0012]本发明还提供一种冻土热融滑塌识别装置，包括：
[0013]获取模块，用于获取预设区域的永久冻土影像信息；
[0014]训练模块，用于根据预设区域的永久冻土影像信息训练双编码器RTS提取网络HUTNet，得到RTS识别模型；双编码器RTS提取网络HUTNet包含：用于提取局部空间特征的基于CNN的U-Net编码器、用于提取全局上下文信息的基于Swin Transformer的Transformer编码器和用于交叉增强来自两个编码器的特征的特征融合模块；Transformer编码器采用通道注意力模块CIM替换Swin Transformer块的全连接层；
[0015]识别模块，用于将目标区域的永久冻土影像信息输入到RTS识别模型中进行冻土热融滑塌识别。
[0016]本发明实施例还提供一种冻土热融滑塌识别系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行冻土热融滑塌识别方法。
[0017]本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行冻土热融滑塌识别方法。
[0018]本发明采用用于RTS分割的CNN和Transformer互补网络HUTNet，在HUTNet中，设计双编码器结构：一个是基于CNN的U-Net编码分支，用于提取局部空间特征；一个是基于SwinTransformer的Transformer编码分支，用于提取全局上下文信息。此外，本发明设计通道注意力模块替换Swin transformer块的MLP层，加强其对重要通道的敏感程度。同时本发明设计特征融合模块，用于交叉增强来自两个分支编码器的特征。本发明的技术效果如下：
[0019]1、采用端到端双编码器RTS提取网络，用于融合来自不同编码器的互补特征；
[0020]2、构建通道交互模块(CIM)来增强Swin Transformer对通道显式建模的能力，提升模型对特征的重要性选择能力，使得模型在处理复杂场景时更具鲁棒性；
[0021]3、为了更好地融合来自不同架构的特征，设计多策略特征融合模块(MSFM)，从不同角度挖掘跨域特征的潜在关联，增强特征之间的互补。
[0022]附图说明
[0023]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0024]图1为本发明实施例冻土热融滑塌识别方法流程图；
[0025]图2为双编码器RTS提取网络HUTNet的结构示意图；
[0026]图3为Swin Transformer编码器的结构示意图；
[0027]图4为通道交互模块(CIM)的结构示意图；
[0028]图5为特征融合模块MSFM的结构示意图。
[0029]具体实施方式
[0030]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0032]实施例1：
[0033]如图1所示，本发明提供一种冻土热融滑塌识别方法，包括：
[0034]步骤S1、获取预设区域的永久冻土影像信息；
[0035]步骤S2、根据预设区域的永久冻土影像信训练双编码器RTS提取网络HUTNet，得到RTS识别模型；
[0036]步骤S3、将目标区域的永久冻土影像信息输入到RTS识别模型中进行冻土热融滑塌识别。
[0037]作为本发明实施例的一种实施方式，如图2所示，双编码器RTS提取网络HUTNet包含：用于提取局部空间特征的基于CNN的U-Net编码器、用于提取全局上下文信息的基于Swin Transformer的Transformer编码器和用于交叉增强来自两个编码器的特征的特征融合模块MSFM；其中，Swin Transformer编码器采用通道注意力模块CIM替换SwinTransformer块的MLP层构造形成；堆叠四个U-Net编码块来构建CNN网络，每个U-Net编码块由两个连续的卷积(Conv)、批归一化(BN)、修正线性单元(Relu)组成。块与块之间使用两倍的下采样连接。给定输入图像x∈(h,w,c),通过Unet编码器得到三个特征图U i ，其大小为(h/i,w/i,c*2 (i-1) ),i∈[1,4]。在此过程特征图不断变小深度不断加深，其富含的信息也更丰富抽象。
[0038]Swin Transformer编码器构建三个特征提取阶段，每个阶段由两个连续SwinTransformer块组成。标准的Swin Transformer如图3所示，由两个连续的子块组成。第一个子块包括层归一化(LN)、基于窗口的多头自注意力(W-MSA)、全连接层(MLP)和残差连接组成。第二个子块结构基本相同，区别在于用基于移位窗口的MSA(SW-MSA)取代了W-MSA。为了进一步提高Swin Transformer的性能，本发明采用CIM替换掉MLP层来增强其对通道的建模能力。为了适应Transformer的输入要求，输入X首先将经过patch embed操作展平为序列数据，随后经过Transformer块和patch merge操作得到特征图T j ,其大小为(h/j,w/j,c*2 (j -1) )，j∈[1,3]。Patch merge是Transformer架构使用的下采样操作，即将相邻的2×2patch合并，同时通过拼接和线性投影调整通道数。然后，每个阶段的特征图将被送入MSFM，与对应阶段的U-Net特征图进行融合。在经过上述的编码过程后，特征图U 4 将被输入解码器与跳接传递的融合特征图在通道方向上串联，同时通过3×3卷积层减少通道数。在这里，每个卷积层都有一个批处理归一化层和一个Relu层。上述过程执行三次后，特征U 4 将恢复到原始图像分辨率大小(128,128),最后通过sigmoid将图像二值化，得到预测掩码。
[0039]Swin Transformer使用MLP层通过特征维度的扩展和压缩来捕捉更加丰富的特征信息，从而增强模型对复杂特征的表达能力。然而，MLP层的特征处理方式依赖于静态权重，缺乏对通道间关系的显式建模能力，无法对特征的重要性进行有效的区分,可能会引入冗余信息,从而影响模型的最终性能和对特定特征的关注度。因此，本发明采用通道交互模块(CIM)替换掉MLP层，以此增强Swin Transformer对通道间特征的显式建模能力。由于特征图的每个通道都被视为特征检测器，所以CIM的目标是在给定输入图像的上下文中动态地确定“哪些”通道在当前任务中最为重要。为了有效地捕捉通道之间的相互关系，CIM中使用了最大池化(MaxPool)和平均池化(AvgPool)对特征图进行压缩，最大池化特征和平均池化特征能大大提高网络的表征能力。CIM结构如图4所示。
[0040]具体来说，给定大小为h×w×c的特征图T i ，首先通过线性层(Linear)映射到新的特征空间，随后经过最大池化和平均池化操作，得到两个大小为1×1×c的权重向量。这两个权重向量分别代表了通道在不同特征尺度上的重要性，它们通过逐元素相加的方式形成一个混合权重向量。使用一维卷积(1D Conv)进一步调整混合权重值，生成大小为1×1×c的特征向量f，这个向量表示了对所有通道的最终权重估计。然后，f将与Ti相乘，这个过程使得重要的通道特征得到了加强，而不重要的通道被抑制。最后，残差连接传递原始特征，得到最终结果。CIM处理流程如下：
[0041]w i 1 ＝1Dconv(MaxPool(Linear(T i ))+AvgPool(Linear(T i )))
[0042]T i 2 ＝Linear(Linear(T i )×w i 1 )+T i
[0043]其中，1Dconv代表一维卷积，MaxPool代表最大池化，AvgPool代表平均池化，Linear代表升降维的线性层。
[0044]Transformer最初为解决NLP的任务提出，与针对视觉任务的CNN方法相比，两者具有完全不同的特征提取方式。Transformer编码器和U-Net编码器的特征是在不同的域中生成的，获得的语义信息也不相同。因此，简单的融合策略可能无法充分挖掘它们的潜力。为了获得更全面的信息，本发明设计多策略的特征融合模块，来完成不同域的语义交互，如图5所示。该模块由三个并行融合方式组成，融合的角度各不相同。设来自Transformer和U-Net的二维特征图、三维特征图分别为T i 、U i ，其大小分别为(h×w)×c和h×w×c。
[0045]在融合阶段1，设计跨域注意力机制模块，旨在使每个特征图能够聚焦于来自另一域中最相关的区域。通过这种跨域注意力机制，促进了特征间的有效交互。首先，将来自CNN编码器的特征图U i 进行reshape，以使其与Transformer编码器的特征图T i 在二维尺寸上保持一致，即(h×w)×c。接着，U i 经过线性层生成查询矩阵Q，Ti则通过线性层分别生成查询矩阵Q和键矩阵K。Q、K、V矩阵分别是对应特征图在新的向量空间的映射，尺寸均为(h×w)×c，且这些参数是可训练的。随后，查询矩阵Q与键矩阵K的转置相乘并除以缩放因子 然后通过softmax函数得到相似度矩阵S，尺寸为(h×w)×c。该矩阵反映了特征图中不同位置的重要性或相关性。接下来，相似度矩阵S与值矩阵V相乘，生成跨域融合的特征矩阵，尺寸为(h×w)×c，表示CNN特征图中的查询矩阵Q从Transformer特征图中提取到的相关信息。最后，将结果reshape成h×w×c的三维矩阵，完成整个跨域特征融合过程。其具体流程如下：
[0046]Q＝Linear(reshape(U i ))
[0047][K,V]＝Linear(T i )
[0048]在融合阶段2，特征图T i 将被reshape成h×w×c，然后和U i 做点乘操作得到融合特征图2。特征图之间做点乘可以看作是一种特征增强与信息过滤的过程。对于某些特定的像素位置，如果特征图之间的特征一致(例如在边缘或纹理明显的区域)，点乘操作会放大这些特征的响应，从而突出它们的重要性；而对于某些特征不一致的位置，点乘操作则会弱化这些不相关或噪声信息的影响。这种机制能够有效提高特征的辨识度和表征能力。
[0049]Swin Transformer在一个有限窗口内建立了patch tokens之间的关系，有效地降低了内存开销。然而，采用常规窗口和移位窗口交替执行的策略，也会造成一定程度上全局建模能力的损失。此外，热融滑塌的边缘较为复杂，这需要一些局部空间信息来帮助识别。因此在融合阶段3，考虑将特征图U i 的空间语义信息赋予给T i ，以在编码更精确的空间信息的同时，进一步加强信息交换。具体的，对特征图U i 应用全局平均池化操作来获取其在空间方向(垂直和水平)的统计信息，得到h、w两个张量。h、w聚合了特征图在空间上的像素级权重，因此将两者相乘以获得位置权重矩阵E。然后将特征图Ti重塑为(h，w，c)，与矩阵E进行点乘操作，得到了融合Unet空间编码信息的Transformer特征图F 3 。具体流程如下：
[0050]V h ＝AvgPool_h(U i )
[0051]V W ＝AvgPool_w(U i )
[0052]最后，将三个阶段融合的特征图F1、F2、F3在通道维度上堆叠，使用1*1卷积进行降维，得到最终的融合特征图。流程如下：
[0053]F＝1*1Conv(cat(F 1 +F 2 +F 3 ))
[0054]实施例2：
[0055]本发明实施例还提供一种冻土热融滑塌识别装置，包括：
[0056]获取模块，用于获取预设区域的永久冻土影像信息；
[0057]训练模块，用于根据预设区域的永久冻土影像信训练双编码器RTS提取网络HUTNet，得到RTS识别模型；双编码器RTS提取网络HUTNet包含：用于提取局部空间特征的基于CNN的U-Net编码器、用于提取全局上下文信息的基于Transformer的Swin Transformer编码器和用于交叉增强来自两个编码器的特征的特征融合模块；Swin Transformer编码器采用通道注意力模块CIM替换Swin Transformer块的MLP层；
[0058]识别模块，用于将目标区域的永久冻土影像信息输入到RTS识别模型中进行冻土热融滑塌识别。
[0059]实施例3：
[0060]本发明实施例还提供一种冻土热融滑塌识别系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行冻土热融滑塌识别方法。
[0061]实施例4：
[0062]本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行冻土热融滑塌识别方法。
[0063]以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
