基于机器视觉和神经网络的轨道表面缺陷分割

摘要

论文摘要

论文提出轨道表面缺陷像素级分割方法，在通道维拼接特征以形成更密集的表示，使缺陷纹理信息在高分辨率层间传播；卷积过程中对弱相关特征执行Dropout，使卷积模块共享统一权重矩阵，降低计算冗余和模型复杂度。四类轨道数据用于训练与测试，模型进一步在NEU-DET和RSDD上验证。

Complex and diverse track surface
Defects segmentation
Neural networks
Track surface defects

轨道数据

约125 km轨道视频按表面状态与噪声类型分为C1–C4

摄像机以顶视方式采集约125 km不同服役状态的轨道视频，覆盖约2、5和10年服役期。

Table I将样本分为Crash、Damage、Rupture和Spot四组，每组800张，共3,200张；图像统一调整为256×256并进行灰度处理。

Table I 轨道表面数据集 — 论文原图 · Table I **轨道表面数据集**

轨道表面数据集。

RAIL TRACK SURFACE DATASET
查看高清原图 ↗

图像预处理

灰度归一化、ROI阈值和数据增强形成网络输入

灰度加权采用R、G、B分量的0.30、0.59和0.11权重。ROI内灰度均值和方差用于构造分割阈值。

数据增强包括水平翻转和横向范围平移，用于在不增加采集量的情况下扩充训练样本。

网络架构

58层收缩—扩展通道连接像素特征提取和分辨率恢复

Fig.3展示图像采集、轨道分类和缺陷分割网络。网络包含卷积与ReLU、最大池化、Dropout、上卷积、Depth-Concatenation、Softmax和像素分类层。

前半部分第2至27层用于特征提取，后半部分通过上卷积恢复空间分辨率，最终输出逐像素类别。

Fig. 3 轨道缺陷分割方法总体架构 — 论文原图 · Fig. 3 **轨道缺陷分割方法总体架构**

所提出轨道缺陷分割方法的总体架构。

Overall architecture of the proposed track defect segmentation method.
查看高清原图 ↗

特征传播

Depth-Concatenation在通道维传播高分辨率缺陷纹理

不同尺度特征在通道维拼接形成更密集的特征，使轨道缺陷纹理信息进入高分辨率层。

模型取消全连接层，并对卷积中学习到的弱相关特征执行Dropout，使卷积模块共享权重并降低冗余。

训练设置

SGDM、梯度裁剪和1,600次迭代用于网络训练

训练使用SGDM优化器，Gradient Threshold设为0.05，Momentum为0.9，Minibatch size为10。

最终学习率为10⁻⁴、迭代次数为1,600，网络Dropout设为0.5；Fig.4报告Accuracy 97.47%和Loss 0.0061。

自采数据结果

六种方法在C1–C4上的分割边界和像素指标分别比较

Fig.5按C1–C4展示原图、Ground truth、PSPNet、FCN、SegNet、K-means、GraphCut和提出模型的输出。

提出模型在C3存在过分割，在C4的分割边缘与Ground truth之间存在间隙；Table II同时比较mIoU和处理时间。

Fig. 5 自采数据上的分割效果比较 — 论文原图 · Fig. 5 **自采数据上的分割效果比较**

自采数据上不同模型的分割效果比较；各列依次为原图、真值、五种对比方法和提出模型，各行对应C1至C4。

Comparison of the segmentation effects of different models based on the data collected. Note that (a) are Original images, (b) are Ground truths, (c)-(g) are the results of PSPNet, FCN, SegNet, K-means and Grapcut respectively, and (h) are the results of the proposed model. From top to bottom are the typical results obtained by each method when processing C1 to C4.
查看高清原图 ↗

消融实验

扩展路径和通道特征拼接逐步改善像素分割结果

Fig.8比较Combination #1至#4的输出。由组合#1加入扩展路径形成组合#2后，平均Accuracy提高8.56%。

Depth-Concatenation将轨道缺陷纹理作为补充信息传播到高分辨率层，组合#4取得四种组合中的最高结果。

Fig. 8 不同模块组合的缺陷分割结果 — 论文原图 · Fig. 8 **不同模块组合的缺陷分割结果**

不同模块组合模型的缺陷分割结果；依次为原图、真值及组合#1至#4的输出。

Defect segmentation results from models formed by combining different modules. Note that (a) is the original image, (b) is the ground truth, (c)-(f) are the outputs of Combination #1-#4 respectively.
查看高清原图 ↗

公开数据集

NEU-DET与RSDD用于检查不同缺陷形态和背景下的分割结果

在NEU-DET上，提出模型的mIoU相对其他模型提升2.13%，平均处理时间为0.0215 s。

在RSDD上，提出模型的mIoU相对提升3.77%。Fig.11展示B1–B3的原图、Ground truth及六种方法输出。

Fig. 11 RSDD数据集分割结果比较 — 论文原图 · Fig. 11 **RSDD数据集分割结果比较**

RSDD数据集上各模型分割结果比较；各列依次为原图、真值、五种对比方法和提出模型，各行对应B1至B3。

Segmentation results comparison of the models based on RSDD dataset. Note that (a) are Original images, (b) are Ground truths, (c)-(g) are the results of PSPNet, FCN, SegNet, K-means and Grapcut respectively, and (h) are the results of the proposed model. From top to bottom are the typical results obtained by each method when processing B1 to B3.
查看高清原图 ↗

研究范围

当前方法完成像素分割，缺陷自动分类和轨道自动分类仍需扩展

论文报告训练Accuracy 97.47%、Loss 0.0061和平均单帧时间33.3 ms；公开数据集结果使用mIoU评价像素区域重合。

Discussion提出，缺陷类别尚未自动区分，轨道分类仍由人工完成；大规模应用需要专用轨道分类器。

第二层阅读

需要更快地把握方法链和核心机制？

AI简报不会替代上方的论文原文导读；它只在您主动打开时加载。

引用

引用本文

以下格式根据论文正式题录生成；使用前请按目标期刊或机构规范复核。

GB/T 7714

YANG H, WANG Y, HU J, et al. Segmentation of Track Surface Defects Based on Machine Vision and Neural Networks[J]. IEEE Sensors Journal, 2022, 22(2): 1571-1582. DOI:10.1109/JSEN.2021.3133280.

APA

Yang, H., Wang, Y., Hu, J., He, J., Yao, Z., & Bi, Q. (2022). Segmentation of track surface defects based on machine vision and neural networks. IEEE Sensors Journal, 22(2), 1571–1582. https://doi.org/10.1109/JSEN.2021.3133280

IEEE

H. Yang, Y. Wang, J. Hu, J. He, Z. Yao, and Q. Bi, “Segmentation of Track Surface Defects Based on Machine Vision and Neural Networks,” IEEE Sensors Journal, vol. 22, no. 2, pp. 1571–1582, 2022, doi: 10.1109/JSEN.2021.3133280.