Reinforcement learning-based trajectory planning for continuous digging of excavator working devices in trenching tasks

PSO离线优化与强化学习在线规划

总体方法包括PSO规划模型、强化学习规划模型和完整任务的连续规划三部分。PSO在目标区域、目标函数和约束条件下优化高阶多项式轨迹，生成关节运动参考。

强化学习模型接收环境状态，输出三个关节的运动信息。训练后的模型用于逐个处理任务分解得到的子区域，直到完成全部沟槽挖掘任务。

三类目标区域组成连续沟槽任务

完整沟槽由总面积、深度、起始点和两侧坡角定义。论文将任务分为梯形、异六边形和平行四边形三类目标区域，分别用于首次向下开挖、补充深度和沿沟槽方向继续推进。

不同沟槽深度通过三类区域的组合完成。每个子任务记录位置、面积、深度和坡角，并据此初始化后续轨迹规划。

六阶多项式轨迹与PSO参考样本

动臂、斗杆和铲斗的关节角由六阶多项式描述，轨迹起点和终点的角速度、角加速度设为零。PSO优化多项式系数和执行时间。

目标函数联合执行时间、目标区域挖掘率和能耗，并施加关节角、速度、加速度、功率、转矩、斗尖运动方向和铲斗姿态等约束。优化结果用于确定敏感参数范围并构造强化学习训练参考。

状态、连续动作、奖励与终止条件

TD3状态包括关节运动、动力与能量、目标区域几何和挖掘进展。第一步动作是三个关节的角加加速度，后续动作是角加加速度的时间微分。

奖励函数分别处理时间、挖掘率、能耗、斗尖高度和铲斗姿态的变化。正常终止用于任务完成或达到资源上限，惩罚终止用于阻止违反机械和轨迹约束的动作继续展开。

四种沟槽工况与MBD–DEM环境

四种工况的总面积由2.50倍增加到4.70倍铲斗横截面积，深度由0.09 m增加到0.20 m。任务分解后共形成14个连续子任务。

轨迹规划在Simulink物理环境中运行，执行验证采用多体动力学与离散元法联合仿真。规划平台使用NVIDIA RTX 3060 GPU和AMD Ryzen 5 5600处理器。

四工况规划时间、挖掘率与综合指标

Table 9中的全部RL子任务规划时间均小于0.5 s，四种工况的平均规划时间分别为0.469、0.459、0.471和0.464 s。PSO方法对应工况的平均规划时间为40.781、30.792、30.495和32.192 s。

四种工况的平均目标区域挖掘率分别为97.26%、92.05%、92.27%和93.09%，平均综合指标f1分别为0.0930、0.1352、0.1323和0.1394。PINN生成时间约为4 ms，快于RL；论文比较显示RL在连续子任务中的指标分布较为均衡。

Condition 1三轮连续开挖联合仿真

论文选取平均挖掘率最高的Condition 1进行MBD–DEM联合仿真。Fig.10依次呈现初始状态、第一轮结束、第二轮结束和最终状态。

三轮连续开挖后，实际沟槽轮廓总体接近设计轮廓；材料滑移和沉积造成局部偏差。论文报告规划轨迹与目标挖掘区域的重叠超过94.1%。

验证来自Simulink和MBD–DEM仿真，未使用原型机。论文将非均匀材料、随机载荷、阻力模型细化和现场试验列为后续方向。