物理约束下的低成本挖掘机姿态重建

摘要

论文摘要

挖掘机安全与效率关系施工进度，三维姿态监测受到传统方法资源投入与精度条件的限制。论文提出一种考虑物理约束的低成本单目视觉方法。方法先由深度学习识别二维关键点，再利用挖掘机运动学模型、坐标变换和相机投影关系，通过优化重建三维姿态。实验中三维关键点平均位置误差为428.58 mm，液压缸长度平均误差为5.12%。

Monocular vision
Excavator pose reconstruction
Physical constraints
Synthetic image dataset
Kinematic model

总体框架

二维关键点识别与约束优化组成两阶段流程

第一阶段使用单目相机采集真实挖掘机图像，并结合Blender生成的合成图像训练YOLOv8姿态识别模型，输出七个关键点的二维坐标和可见性。

第二阶段建立D-H运动学模型、相机标定与坐标变换关系，把姿态变量对应的三维关键点投影到图像平面，再通过目标函数和优化过程求得姿态序列。

Fig. 1 挖掘机三维姿态重建总体框架 — 论文原图 · Fig. 1 **挖掘机三维姿态重建总体框架**

挖掘机三维姿态重建框架：(a)现场拍摄与增强生成真实数据集，(b)生成虚拟数据集的主要过程，(c)采用Denavit–Hartenberg方法建立运动学模型，(d)相机标定与坐标变换。

Framework for reconstructing the 3D poses of excavators: (a) is the process of generating real datasets by taking pictures in the field and augmenting the data, (b) is the primary process for obtaining virtual datasets, (c) is the kinematic model established by the Denavit–Hartenberg (D-H) method, and (d) is camera calibration and coordinate transformation.
查看高清原图 ↗

关键点

四个主链点与三个液压缸附加铰点

四个基础点依次为动臂铰点、斗杆铰点、铲斗铰点和斗尖，构成工作装置主链。三个附加点分别位于动臂缸、斗杆缸和铲斗缸铰接位置。

关键点标签包括二维坐标与可见性状态。现场图像覆盖关键点超出视野、被铲斗、土体或驾驶室遮挡的情况，并包含不同作业工况和相机视角。

Fig. 2 七个关键点与真实挖掘机数据采集 — 论文原图 · Fig. 2 **七个关键点与真实挖掘机数据采集**

关键点选择与真实挖掘机数据集采集：(a)基础点遮挡，(b)四个基础点与三个液压缸附加铰点，(c)同一相机视角下的多种作业工况，(d)同一作业工况的不同相机视角。

Selection of keypoints and acquisition of the actual excavator dataset: (a) base points occlusion; (b) base points: Point_1 (Boom hinge), Point_2 (Arm hinge), Point_3 (Bucket hinge), Point_4 (Bucket tip) and additional points: Point_5 (Boom hydraulic cylinder hinge), Point_6 (Arm hydraulic cylinder hinge), Point_7 (bucket hydraulic cylinder hinge); (c) is to photograph several different working conditions from the same camera viewpoint; and (b) is a shot of the same working condition in different camera views.
查看高清原图 ↗

约束优化

八个姿态变量、双目标函数与连续帧求解

姿态变量包括回转中心地面交点的三个坐标、回转角、动臂角、斗杆角、铲斗角和车体横滚角。D-H模型根据设备尺寸将这些变量转换为七个空间关键点。

优化目标联合二维重投影误差和工作装置杆段投影长度差。首帧采用E-WOA全局优化；后续帧以前一帧姿态为初值执行局部优化，并在周期条件或异常状态下重新进行全局校正。

Fig. 4 姿态重建优化流程 — 论文原图 · Fig. 4 **姿态重建优化流程**

姿态重建优化过程流程图。

Flowchart of pose reconstruction optimization process.
查看高清原图 ↗

数据与实验

真实图像、合成图像与传感器真值

现场采集获得9342张真实图像，经离线增强形成37,368张Dataset #1。Dataset #2由10,000张真实图像和14,000张Blender合成图像组成，共24,000张。两个数据集均按70%训练、30%验证划分。

测试使用65吨挖掘机，专业驾驶员完成连续两斗平地挖掘、约120°回转和卸料。三组液压缸安装100 Hz位移传感器以建立评估真值；视频时长39 s，共2340帧。

主要结果

二维关键点与三维姿态重建结果

Dataset #1的平均PCK和NE分别为96.28%和0.0059；Dataset #2分别为97.64%和0.0056。PCK阈值和NE均基于图像对角线定义。

Dataset #2与本文方法组合的平均MPJPE为428.58 mm。Fig.9展示Dataset #1与本文方法的五组现场图像、三维真值姿态和重建姿态。各关键点误差沿动臂、斗杆和铲斗运动链总体增加。

Fig. 9 三维姿态重建结果 — 论文原图 · Fig. 9 **三维姿态重建结果**

使用Dataset #1与本文方法得到的三维姿态重建结果。

Reconstruction results of 3D poses using Dataset #1 + the proposed method.
查看高清原图 ↗

物理量验证

液压缸长度、关节角与优化速度

Dataset #2与本文方法组合的动臂缸、斗杆缸和铲斗缸MLE分别为2.90%、6.49%和5.97%，平均为5.12%；三组关节角平均误差为6.06°。Fig.10比较两个数据集及两种方法下的真实液压缸长度与重建长度。

仅使用E-WOA、加入提前停止、再加入局部优化时，三维优化速度依次为0.53、0.90和4.98 fps。最终配置对应约200 ms的优化阶段处理延迟。

Fig. 10 液压缸真实长度与重建长度对比 — 论文原图 · Fig. 10 **液压缸真实长度与重建长度对比**

液压缸真实长度与重建长度对比，GT表示真实值：(a)Dataset #1与本文方法，(b)Dataset #1与对比方法，(c)Dataset #2与本文方法，(d)Dataset #2与对比方法。

Comparison between the actual lengths and reconstruction lengths of the hydraulic cylinders, “GT” for “ground truth”: (a) Dataset #1 + the proposed method, (b) Dataset #1 + the comparative method, (c) Dataset #2 + the proposed method, and (d) Dataset #2 + the comparative method.
查看高清原图 ↗

迁移与边界

跨机型实验及后续研究范围

在39吨挖掘机实验中保留Dataset #2训练的二维识别模型，仅调整运动学尺寸参数，三类液压缸平均MLE为5.73%；65吨机型对应值为5.12%。论文将方法范围限定为标准单动臂、3自由度反铲工作装置和可回转上车体。

方法当前只识别工作装置关键点并一次重建一台设备。远距离、弱光和严重遮挡会影响二维关键点识别；液压压力、构件挠曲、在线标定、土体遮挡仿真、关节间隙和多台设备跟踪列为后续研究内容。

第二层阅读

需要更快地把握方法链和核心机制？

AI简报不会替代上方的论文原文导读；它只在您主动打开时加载。

引用

引用本文

以下格式根据论文正式题录生成；使用前请按目标期刊或机构规范复核。

GB/T 7714

YAO Z, CHEN C, JIN H, et al. Cost‐effective excavator pose reconstruction with physical constraints[J]. Computer-Aided Civil and Infrastructure Engineering, 2025, 40(22): 3525-3547. DOI:10.1111/mice.13515.

APA

Yao, Z., Chen, C., Jin, H., Huang, H., Li, X., & Bi, Q. (2025). Cost‐effective excavator pose reconstruction with physical constraints. Computer-Aided Civil and Infrastructure Engineering, 40(22), 3525–3547. https://doi.org/10.1111/mice.13515

IEEE

Z. Yao, C. Chen, H. Jin, H. Huang, X. Li, and Q. Bi, “Cost‐effective excavator pose reconstruction with physical constraints,” Computer-Aided Civil and Infrastructure Engineering, vol. 40, no. 22, pp. 3525–3547, 2025, doi: 10.1111/mice.13515.