搜索
评论
9
分享

[原创] 用于混凝土风蚀损伤智能识别的深度学习方法

跟我一起学 楼主
2022-06-29 11:37 1022351
举报 收藏本帖

在中国西北部,有着广阔的沙漠地区,风速很高。因此,该地区经常发生风沙灾害,在该地区建造的各类建筑都面临着严重的风蚀。混凝土和钢是最常用的建筑材料,而钢筋混凝土建筑主要通过用混凝土包裹钢筋来工作。因此,混凝土就成为了风蚀现象中的重点对象。风蚀会导致混凝土表面剥离,将直接降低混凝土结构的承载能力。并且失去了混凝土表面的保护,环境中的空气、水分和盐会进入混凝土,造成混凝土腐蚀,最终导致结构破坏,甚至发生重大事故为了防止混凝土结构在风蚀作用下发生破坏,及时有效地加固混凝土损伤是必不可少的,而混凝土加固的首要任务是混凝土损伤识别。

本文针对西北地区混凝土风蚀破坏现象,进行了混凝土风蚀试验,建立了混凝土风蚀数据集,提出了一种能够准确检测混凝土风蚀破坏的目标检测算法。Q2

文章提出的科学问题是什么?

有什么新的学术贡献?目前,基于计算机视觉的混凝土损伤识别的研究对象主要是混凝土裂缝。对混凝土风蚀损伤的研究很少。而Transformer是深度学习领域的一个研究热点,transformer实现了全局分析,弥补了卷积运算局部操作带来的局限性,如目标检测任务中的目标遮挡问题,展现了更好的大数据可扩展性。

本研究以YOLO-v4为基线,提出了一种基于transformer原理的深度学习目标检测算法MHSA-YOLOv4。MHSA-YOLOv4可实现混凝土风蚀损伤的精确智能测定。Q3

文章提出的技术路线是什么?

有什么改进创新之处?技术路线

1.算法主干

目标检测算法分为两类:

一阶段:目标检测算法可以在一个阶段预测目标的类别和位置。这些算法的特点是识别速度更快,但精度低于两阶段算法。单阶段的代表性算法包括YOLO级数算法,SSD等。

两阶段:两阶段算法首先生成区域建议,然后基于卷积神经网络对图像进行分类。具有精度高的特点;然而,识别速度很慢。两阶段代表性算法有快速R-CNN、SPP-Net等。最近,随着YOLO算法版本的迭代更新,YOLO算法的识别精度不断提高。YOLO-v4已成为目标检测中最常用的算法之一,具有最好的识别性能。由于其出色的目标检测性能,本文将YOLO-v4作为基线。

2.Transformer结构

变压器是深度学习中最重要的研究热点之一。它首次应用于自然语言处理,并取得了令人鼓舞的结果。随着文献的出现,transformer揭开了图像处理领域的序幕,因此建立了许多优秀的计算机视觉算法,如PVT、Swin transformer和DETR。该变压器具有以下特点:

1、Transformer与现有RNN和CNN形成互补优势。与RNN相比,transformer实现了对输入数据的并行操作,减少了长序列数据对模型的限制。与CNN相比,transformer实现了全局分析,弥补了卷积运算局部操作带来的局限性,如目标检测任务中的目标遮挡问题。

2、Transformer展现了更好的大数据可扩展性。

3、自我注意机制可以产生更多可解释的模型。由于其优异的性能,许多学者对基于transformer的图像处理进行了广泛的研究,包括图像分类、目标检测、语义分割等。

transformer算法的原理如图5所示。YOLO系列算法是最成功的目标检测算法之一,并取得了很好的效果。为了改进YOLO,许多学者做出了持续的努力。同时,还开展了基于变压器改进YOLO的研究。基于transformer的改进型YOLO显示出优异的目标检测性能,尤其是对微小目标和遮挡的检测性能。针对风蚀混凝土试验中出现的遮挡(水渍)和微小目标(划痕),本研究基于transformer对YOLO-V4进行了改进,实现了混凝土损伤的智能识别。

图片

图1:transformer示意图(a) transformer的整体算法结构;(b) 自我注意机制;(c) 多头自注意机制(MHSA)

3.我们的方法

在混凝土侵蚀损伤图像中加入划痕、水渍、噪声背景等干扰因素,模拟混凝土的自然状态。这些因素给传统的卷积神经网络(CNN)目标检测带来了巨大的挑战。这是因为传统的CNN主要提取局部抽象特征,在提取全局信息方面表现不佳。特别是,本文中受损的混凝土表面会出现其他障碍物,如划痕和水渍。目前的研究结果表明,传统的CNN在遮挡情况下性能较差,而transformer可以很好地实现遮挡情况下的目标识别。为了提高目标检测算法提取图像全局信息的能力,提出了一种基于变压器的高精度混凝土风蚀损伤识别新算法(MHSA-YOLOv4)。MHSA-YOLOv4有两项具体改进:

1、CSPDarknet53主干网集成了transformer变压层,如图2(a)所示;

2、将变压器层PANet引入CBL5模块,如图2(b)所示。MHSA-YOLOv4的原理如图3所示。

图片

图2:使用变压器改进YOLO-v4的详细信息。(a) 将变压器引入CSPDarkNet53;(b) 变压器被引入PANet

图片

图3:算法详细介绍了MHSA-YOLOv4。(a) MHSA-YOLOv4算法框架;(b) 算法块的详细信息


创新之处:

1.采用实验手段模拟混凝土剥落,建立了混凝土风蚀数据集。

2.基于Transformer改进了yolov4算法提出了一种名为MHSA-YOLOv4的目标检测算法。Q4

文章是如何验证和解决问题的?1.数据收集

①背景

中国西北部有广阔的沙漠地区,海拔很高。这些地方的海拔可以达到2500-5000米。这些地区的风速具有以下特点:风速高、持续时间长、风速变化快、季节性强。当风速超过40米/秒时,列车将被风吹倒。在中国西北部的新疆,最大风速超过63.7米/秒。可以看出,该地区各种建筑都面临着严重的风沙灾害。沙漠风沙灾害主要有三种形式:1、当风速达到一定程度时,强风可使建筑物及其附属设施倾覆,对人民生命财产安全构成重大威胁(即倾覆运行中的列车);2、风沙流携带高速沙粒冲击建筑物,造成严重风蚀破坏(即混凝土表面风蚀剥落)。随着时间的推移,建筑物的承载能力降低,导致重大的安全隐患。3、沙尘暴灾害发生后,沙土掩埋了铁路轨道等各类建筑物,导致列车停运。图4显示了风沙灾害对建筑物的破坏形式。

图片

图4:风沙灾害概述

②实验设计

在沙漠地区建造的混凝土建筑面临着强烈的风蚀,这几乎总是存在的。混凝土表面发生大面积的剥落,使得外部水和盐极易腐蚀混凝土。长期风蚀将减少混凝土结构的负荷承载能力,甚至引发严重的安全事故。为防止事故发生,有必要及时有效地考虑混凝土的加固。准确识别混凝土风蚀损伤是实现加固修复的第一步。

为了模拟风沙环境下混凝土的风蚀破坏,采用喷砂机进行了混凝土风蚀试验。实验中使用的沙粒来自现场的天然沙粒。喷砂原理如图5所示。该图显示空气由空气压缩机压缩并存储在气缸中。中央控制台的阀门控制气流的流速。当空气流经砂漏斗并与砂颗粒混合形成空气-砂流时,颗粒通过喷嘴喷射以侵蚀混凝土表面。通过控制侵蚀时间和喷射角度,可以检测混凝土表面的不同风蚀损伤。

图片

图5:混凝土风蚀试验(a) 喷砂机原理;(b) 控制台用于控制测试参数和过程;(c) 空气压缩机压缩环境中的空气并将其泵入气缸;(d) 侵蚀损坏的混凝土

③实验细节

实验风速为8米/秒,这是现场最常见的风速之一。单个侵蚀试验持续5分钟。为了获得不同的侵蚀损伤,每个混凝土表面重复3次进行侵蚀试验。在每次侵蚀试验完成时,使用摄像头进行图像采集。采集的混凝土图像分辨率为3000×3000。

风蚀试验中的沙子是从野外采集的。使用Malvern激光粒度仪对砂的粒度进行分析,分析过程如图6所示。粒径分析结果表明,砂子的中值粒径为246-282μm,小于750μm的粒径占总粒径的90%。粒径小于85μm的颗粒占总粒径的10%。砂的体积浓度约为0.11%。由于实验的沙子是从野外采集的,所以沙子的特性可以代表场地的自然状态。

图片

图6:砂粒的激光粒度分析(a) 马尔文激光粒度分析仪概述。局部放大图显示了应放置沙子的位置(b) 从田地里收集的沙子(c) 砂粒径分析过程。(d) 粒度分析结果

④图像采集

在风成环境中,除了引起人们极大关注的侵蚀破坏外,混凝土表面还含有许多噪音。为了使实验生成的数据集无限接近现场真实,混凝土的实验设计如下:1、建立了混凝土风蚀破坏的不同程度和类型。试验产生的混凝土侵蚀破坏呈现出不同的面积大小和侵蚀深度。同时,一些侵蚀破坏区域是相互联系的,一些是相互独立的。2、用记号笔在混凝土表面添加文字,模拟划痕等条状噪声。3、在混凝土表面添加水渍,以模拟具有片状特征的噪声,如水渍和油渍。4、混凝土试件拍摄背景为斑点大理石。在算法未来的应用场景中,拍摄背景不可避免地会出现在图像中,如天空、沙漠等。因此,必须考虑背景对深度学习模型识别精度的影响。由于斑点大理石背景具有强烈的干涉效应,因此它被用作图像的背景。进行风蚀试验的混凝土砌块如图7所示。数据集的详细信息如表1所示。

表1:混凝土风蚀数据集的详细信息

图片

图片

图7:有风蚀破坏的混凝土

本研究中混凝土风蚀破坏程度不同。一部分混凝土受到轻微损坏,而另一部分混凝土剥落区域严重。除了剥落区域的大小外,混凝土风蚀破坏在视觉上没有特别明显。为了使本文提出的模型能够在风蚀损伤的早期阶段识别损伤,设计了风蚀实验。因此,混凝土的风蚀破坏不需要非常严重和明显。早期识别风蚀破坏有助于及时修复受损区域。通过这种方式,可以显著抑制混凝土风蚀损伤引起的二次损伤现象。

2.实验实施

①训练设置

混凝土风蚀图像数据集包含大量RGB格式的目标检测数据。因此,使用GPU对模型的操作进行并行化,以加速MHSA-YOLOv4的训练和收敛。MHSA-YOLOv4训练所需的训练设置和依赖库如表2所示。

表2:训练设置

图片

②激活功能

MHSA-YOLOv4使用了两种激活功能:LeakyRelu和Mish激活功能。在图3中,CBM(Conv、BN和mish)模块和CBL(Conv、BN和LeakyRelu)模块均用于提取图像特征。用于CBM的激活函数为Mish,用于CBL的激活函数为LeakyRelu。Mish的表达式如式(1)所示。LeakyRelu的表达式如式(2)所示:

图片

③损失函数

混凝土风蚀损伤识别任务可分为三个子任务:1。分类任务。为了使数据集更接近混凝土的自然状态,在数据集中添加了许多干扰项和噪声。MHSA-YOLOv4必须识别混凝土风蚀损伤、水渍、划痕和混凝土块。因此,首先要完成的任务是多目标分类和识别。此子任务中使用的损失函数是LCE。LCE的表达式如式(3)所示。2、用于对象检测的边界框回归。在完成多分类任务后,目标检测模型必须预测每个目标的包围盒。该子任务执行对象预测框回归,损失函数为Lciou。3、置信回归预测。在完成前两项任务后,算法模型必须预测目标检测的置信度。该子任务中使用的损失函数是Lgiou。Ciou和Giou都是从IoU发展而来的。表3给出了三者的关系和表达式:

图片

式中:yi为真值,^yi为预测值。

表3:IoU、Giou和Ciou概述

图片

④数据扩充

MHSA-YOLOv4遵循YOLO-v4的马赛克数据增强技术。马赛克数据增强技术是一种切割混合优化技术。为了获得新图片,马赛克数据增强根据随机缩放、随机剪裁、随机排列和色域变换拼接这四幅图片。它保留与新生成的图片上的原始四个子图相对应的标签边界框。马赛克数据增强具有以下优点:1。对数据集进行优化,以丰富用于模型训练的数据;2、深度学习模型的训练速度大大提高;3、减少了神经网络模型训练对GPU图形内存的要求。图8描述了MHSA-YOLOv4训练期间马赛克的数据增强过程。

图片

图8:马赛克数据增强

3.结果和讨论

①训练流程

MHSA-YOLOv4训练过程的精度曲线如图9(a)所示,损失函数曲线如图9(b)所示。根据图9(a):1、训练精度曲线在120到150个epoch之间收敛,模型在训练集上的精度收敛值约为0.90,表明MHSA-YOLOv4的精度和效率。2、验证集的精度曲线在120个时代之前已经出现振荡。随着epoch的增长,验证集精度的变化范围减小,振荡现象逐渐减弱。当epoch达到120时,验证集的精度逐渐收敛,与训练集的精度非常接近,表明选择MHSA-YOLOv4超参数是合理的。在培训过程中,没有过盈或过盈。3、验证集的精度收敛值约为0.85,表明MHSA-YOLOv4具有较强的泛化能力,能够预测混凝土风蚀破坏。图9b说明当历元达到150时,训练和验证损失函数曲线收敛,分别达到约0.029和0.037的收敛值。这两个收敛值都很低,反映出MHSA-YOLOv4模型具有优异的目标检测性能。在120个周期内,模型的性能波动较大,验证损失小于列车损失。这种现象通常发生在模型性能收敛之前。小批量是本研究中出现这种现象的主要原因。受GPU内存大小的限制,本文中batchsize的值为4。然而,小批量往往会导致模型在一定范围内发生振荡。

图片

图9:模型训练曲线(a) 精度曲线;(b) 损失曲线

②评估指标

根据目标的地面真值与模型预测的包围盒之间的关系,将目标检测模型的预测结果分为四种类型:真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN)。为了评价模型的目标检测性能,引入了模型的评价指标(准确度、精密度、召回率和mAP)。ACC、Precision、Recall和mAP的表达式显示在等式(4) –(7)中:

图片

其中,TP表示真阳性,FP表示假阳性,TN表示真阴性,FN表示假阴性,C表示类别数,N表示样本数,k表示某个样本。

③比较研究

为了比较和验证本文提出的改进算法的有效性,在混凝土风蚀数据集上对YOLO-v3、改进的YOLO-v3和YOLO-v4进行了训练。表4显示了四种目标检测算法在测试集上的得分。该表显示,MHSA-YOLOv4在测试集上的ACC、精度、召回率和mAP分别为92.30%、91.52%、92.31%和0.89。在四个模型中,MHSA-YOLOv4在各个评价指标上的得分最高,这表明我们提出的改进是合理和可行的。同时,证明了MHSA-YOLOv4具有优异的目标检测性能。

表4:模型的比较评估

图片

为了验证MHSA-YOLOv4的泛化能力,基于另一个数据集对MHSA-YOLOv4进行了验证,验证结果如表5所示。从表5可以看出,测试集MHSA-YOLOv4的ACC、精密度、召回率和mAP分别为97.63%、96.80%、87.65%和0.88。由于数据集之间的差异,四个模型的召回率都有所下降,但MHSA-YOLOv4仍然是四个模型中最好的模型。

表5:模型性能验证

图片

④预测结果

图10显示了MHSA-YOLOv4模型的识别结果。从图10可以得出以下结论。首先,MHSA-YOLOv4显示了不同试验条件下混凝土风蚀损伤的准确目标检测结果,并确定了混凝土风蚀损伤的智能识别。其次,从混凝土不同损伤程度的角度(比较(a)、(b)和(c)),MHSA-YOLOv4已被证明能够检测不同损伤程度的混凝土风蚀区域。对于外部干扰因素(比较(a)、(c)和(f)),MHSA-YOLOv4模型可以检测具有不同外部干扰的混凝土风蚀区域,这意味着MHSA-YOLOv4具有很强的鲁棒性。最后,从射击角度(比较(d)和(e)),MHSA-YOLOv4模型已被证明能够检测不同射击距离下的混凝土风蚀损伤。该特性对于将模型移植到移动终端(如UAV[67,68])进行目标检测至关重要。理论上,射程应在合理范围内。不同程度的损坏如图10(b)-(f)所示。高速飞扬的沙粒撞击混凝土表面,导致混凝土表面剥落。混凝土表面剥落后,混凝土中的细骨料和粗骨料逐渐露出。这些暴露特征由MHSA-YOLOv4模型感知和提取。此外,混凝土表面的剥落区域较暗。因此,颜色也成为要由对象检测模型提取的特征。

图片

图10:混凝土风蚀破坏预测图(a) (b)、(c)、(d)、(e)、(f)分别代表不同试验条件下混凝土的风蚀损伤Q5

文章有什么可取和不足之处?逻辑结构:本文的outline呈现在下文:


1.  Introduction 

介绍了混凝土风蚀现象的危害性,并阐述了计算机视觉技术在损伤识别领域的应用现状。

2. Dataset

2.1 Background

本研究以中国西北部的沙漠地区作为背景。

2.2 Experimental design

为了模拟风沙环境下混凝土的风蚀破坏,采用装有天然砂粒的喷砂机进行了混凝土风蚀试验。

2.3 Detail of experiment

介绍了实验中的风速和砂粒粒度。

2.4 Image acquisition

介绍了实验中的图像采集手段。

3. Methodology

3.1 Algorithm backbone

本文以YOLO-v4作为基线

3.2 Transformer architecture

本研究基于transformer对YOLO-V4进行了改进,实现了混凝土损伤的智能识别

3.3 Our method

传统的CNN在遮挡情况下性能较差,而transformer可以很好地实现遮挡情况下的目标识别。为了提高目标检测算法提取图像全局信息的能力,提出了一种基于变压器的高精度混凝土风蚀损伤识别新算法(MHSA-YOLOv4)。

4. Implementation

4.1 Training setting

使用GPU对模型的操作进行并行化,以加速训练和收敛。

4.2 Activation function

MHSA-YOLOv4使用了两种激活功能:LeakyRelu和Mish激活功能。

4.3 Loss function

实验以iou,Giou,Ciou为损失函数。

4.4 Data augmentation

MHSA-YOLOv4遵循YOLO-v4的马赛克数据增强技术

5. Results and discussion 

5.1 Training process

介绍了训练过程中的损失函数和评估指标变化。

5.2 Comparative study

为了比较和验证本文提出的改进算法的有效性,在混凝土风蚀数据集上对YOLO-v3、改进的YOLO-v3和YOLO-v4进行了训练。

    5.3 Prediction results

展示了模型的识别效果。

6. Conclusions

混凝土在使用过程中不可避免地会受到风蚀破坏。混凝土侵蚀损伤是混凝土损伤识别和结构健康监测的关键。本文针对西北地区混凝土风蚀破坏现象,进行了混凝土风蚀试验,建立了混凝土风蚀数据集,提出了一种能够准确检测混凝土风蚀破坏的目标检测算法。


本文的逻辑结构和一般文章有所不同,第二章首先阐述了数据来源,实际上是在说明工程问题的背景,在第三章讲方法,第四章讲实验,这样的逻辑组织可以让读者对工程问题有一个深刻的认识。


研究方法

2010规范用C50混凝土损伤塑性本构关系数据文档下载里进行实验设计上,对于对比模型的选择还需要细细考量一下:

1。同系列的算法没必要进行比较,yolov4对于yolov3的优胜性是显然的。可以考虑将yolo系列和fastrcnn等其他系列进行比较。

2.可以与其他的改进yolov4的算法进行比较,可以更加彰显

图片


图表形式

这里在一张表中同时阐述了指标名称,计算公式,计算图以及相关说明。一方面将图放在表中,实现了图表融合表达;另一方面对一个指标几乎做到了全覆盖式的解释,是一种可以参考的图表方式。

图片


文字表达

这里对目标检测阐述有些不妥,在很多情况下目标检测不仅会进行边界框回归和置信度显示,也会标明该物体的类别(即进行分类),本研究的基线模型yolo系列就是一个典型的例子。

图片Q6

文章对自身的研究有什么启发?近年来transformer结构在计算机视觉领域展现了其强大的潜质。因此,不少应用类学科开始抛弃传统的cnn架构,一股脑的涌向transformer,而本研究依然以cnn系列模型为主,选择吸收transformer结构的优点,取其精华。

这种研究方法是经过充分的科学考量的,其实换个方向考虑,可不可以在transformer结构吸收cnn架构的优点,进一步提升其性能呢?因此,在选择方法时,不能随波逐流,一定要眼观八方,充分吸收各处之长,以科学的思路进行研究工作。

本文为凯迪网自媒体“凯迪号”作者上传发布,代表其个人观点与立场,凯迪网仅提供信息发布与储存服务。文章内容之真实性、准确性由用户自行辨别,凯迪网有权利对涉嫌违反相关法律、法规内容进行相应处置。

帖子看完了,快捷扫码分享一下吧

投喂支持
9人点赞
发表评论
请先 注册 / 登录后参与评论