基于机器视觉和卷积神经网络的轨道表面缺陷检测方法

摘要

论文摘要

为提高轨道表面缺陷检测的查准率、召回率和效率，论文采用形态学滤波与概率霍夫变换剔除原始图像噪声，顺次应用阈值法和离散法获得轨道真实边缘，并构建同时考虑召回率和查准率的改进交叉熵损失函数，基于卷积神经网络建立轨道表面形态分类器。8,523张实拍轨道图像实验得到96.42%查准率、92.21%召回率和27 ms运行时间。

轨道缺陷检测
机器视觉
深度学习
卷积神经网络
特征提取

总体流程

检测链依次完成轨道识别、精确定位和表面缺陷分类

Fig.1将方法划分为三个阶段。灰度化、ROI分割、形态学变换和概率霍夫变换用于轨道识别；滤波、Canny算子、两次伪边缘处理和线性拟合用于精确定位。

定位后的轨道表面图像进入卷积神经网络，由改进损失函数和Orbitcnn完成完好/缺陷二分类。

Fig. 1 轨道表面缺陷检测总体流程 — 论文原图 · Fig. 1 **轨道表面缺陷检测总体流程**

轨道表面缺陷检测方法流程。

Flow of the track surface defect detection method.
查看高清原图 ↗

轨道识别

形态学处理与概率霍夫变换缩小轨道候选区域

原始RGB图像先按灰度加权法转换，并通过滑动检测窗口和灰度阈值分割ROI。形态学膨胀、腐蚀差值用于突出明显区域。

概率霍夫变换只需处理平面内部分点。Table 1中，改进流程正确识别8,431张图像，轨道识别精度为98.92%，10次识别平均时间为25 ms。

边缘定位

阈值法和离散程度筛选两次去除Canny伪边缘

中值滤波和双边滤波降低图像噪声，Canny算子得到的边缘同时包含轨道边缘和大量伪边缘。

Fig.4展示从原图、Canny结果、两次伪边缘处理、边缘拟合到最终定位的顺序。第二次处理保留离散程度较小且连续性较好的两条边缘，随后通过线性拟合恢复轨道边界。

Fig. 4 轨道图像的顺次处理结果 — 论文原图 · Fig. 4 **轨道图像的顺次处理结果**

轨道原图及其顺次处理结果。

Original track image and its sequential processing results.
查看高清原图 ↗

损失函数

改进交叉熵在训练目标中同时引入查准率和召回率

常规交叉熵与召回率没有直接关系，论文引入变量K，并以权重ω调节查准率和召回率的作用。

训练过程中使用当前迭代附近样本的指标变化，经均值标准化后将K与交叉熵组合为新的损失函数。Fig.10和Fig.11用于分析ω对两项指标的影响。

Orbitcnn

47层Orbitcnn采用A、B、C模块和卷积核分解提取表面特征

Fig.6给出Orbitcnn总体结构：5个模块A、Reduction A、4个模块B、Reduction B和2个模块C之后，依次连接平均池化、卷积、Dropout、全连接和Softmax。

5×5卷积分解为两个3×3卷积时感受野保持一致，论文报告参数量减少28%。训练采用72批、6,000次迭代、0.0001学习率和0.7 Dropout。

Fig. 6 Orbitcnn网络结构 — 论文原图 · Fig. 6 **Orbitcnn网络结构**

Orbitcnn网络结构。

Orbitcnn network architecture.
查看高清原图 ↗

参数选择

权重ω、动态因子c和优化器通过查准率与召回率曲线确定

Fig.10和Fig.11显示，ω增加时召回率和查准率上升，论文为同时保持两项指标确定ω≥3。

保持ω=3时，Fig.12和Fig.13比较SGD、RMS和Adagrad。c=8时RMS的召回率和查准率达到较高值。

Figs. 10–13 权重、动态因子和优化器参数分析 — 论文原图 · Figs. 10–13 **权重、动态因子和优化器参数分析**

权重ω、动态因子c和不同优化器对召回率与查准率的影响。

Effects of weight ω, dynamic factor c and optimizers on recall and precision.
查看高清原图 ↗

模型比较

Orbitcnn在Table 2中达到96.42%查准率和92.21%召回率

Table 2比较MLC、Inception-v3、Cropimagecnn和Orbitcnn。Orbitcnn的召回率为92.21%、查准率为96.42%，运行时间为27 ms。

MLC、Inception-v3和Cropimagecnn的运行时间分别为20、90和43 ms；对应查准率分别为81.11%、91.37%和95.36%。

Table 2 四种模型的比较 — 论文原图 · Table 2 **四种模型的比较**

四种模型的比较。

Comparison of four models.
查看高清原图 ↗

研究范围

实验完成表面完好/缺陷二分类，在线学习与物理定位仍需后续研究

论文实验任务为轨道表面完好/缺陷二分类，查准率、召回率和运行时间均对应这一分类设置。

结论提出，轨道表面缺陷与内部结构的关系、分类器在线学习以及轨道缺陷物理定位仍需进一步研究。

第二层阅读

需要更快地把握方法链和核心机制？

AI简报不会替代上方的论文原文导读；它只在您主动打开时加载。

引用

引用本文

以下格式根据论文正式题录生成；使用前请按目标期刊或机构规范复核。

GB/T 7714

姚宗伟, 杨宏飞, 胡际勇, 等. 基于机器视觉和卷积神经网络的轨道表面缺陷检测方法[J]. 铁道学报, 2021, 43(4): 101-107. DOI:10.3969/j.issn.1001-8360.2021.04.013.

APA

Yao, Z., Yang, H., Hu, J., Huang, Q., Wang, Z., & Bi, Q. (2021). Track surface defect detection method based on machine vision and convolutional neural network. Journal of the China Railway Society, 43(4), 101–107. https://doi.org/10.3969/j.issn.1001-8360.2021.04.013

IEEE

Z. Yao, H. Yang, J. Hu, Q. Huang, Z. Wang, and Q. Bi, “Track surface defect detection method based on machine vision and convolutional neural network,” Journal of the China Railway Society, vol. 43, no. 4, pp. 101–107, 2021, doi: 10.3969/j.issn.1001-8360.2021.04.013.