专利原文与附图

一种装载机地空协同作业方法

An Air–Ground Collaborative Operation Method for Wheel Loaders

姚宗伟, 李昊旻, 毕秋实, 王永, 涂鑫, 李盟

查看专利文献

该专利以分布式电驱动无人装载机和无人机组成地空协同系统:无人机采集二维图像、三维点云和位姿信息建立作业场景三维视图,装载机在场景中规划兼顾路径与功耗的作业路线,并在关键帧位置识别料堆、融合点云与彩色图像,向训练模型提供物料和几何信息。

专利摘要

本专利公开一种基于无人装载机和无人机的地空协同作业方法。无人机采集作业现场图像、三维点云与自身位姿,经图像拼接、特征识别及数据融合构建三维场景;装载机路径规划单元分析路面状况和路径可行性,以路径和功耗为目标选取作业路线;环境感知模块在关键帧捕捉点获取料堆彩色图像与点云,识别物料种类和三维几何,并把相关信息输入训练模型,用于输出驱动电机转矩和料堆铲装点。

  • 地空协同
  • 无人装载机
  • 无人机
  • 三维点云
  • 场景建图
  • 路径规划
  • 料堆识别
  • 工作装置控制

单一地面视角难以同时覆盖全局场景、路径条件和料堆近场信息

作业场地的建筑物、车辆、料堆和地形起伏可能形成视野遮挡,地面近场感知与空中全局观测各自提供不同范围的信息。

该方法把无人机空域建图、装载机路径规划和料堆近场感知组织在一条连续作业链中。

无人机与分布式电驱动无人装载机形成地空协同硬件基础

系统由无人装载机和无人机组成;装载机采用铰接式前后车架,工作装置固定在前车架,无人机停机坪设置在后车架上方。

装载机配置环境感知、姿态感知和中央控制模块;无人机配置激光雷达、摄像头、GPS、位姿感知和机载控制模块。

图1 地空协同作业系统硬件组成
专利原始附图 · 图1 地空协同作业系统硬件组成

图1展示无人装载机1与无人机2构成的地空协同作业系统。

查看高清原图 ↗
图2 无人装载机硬件组成
专利原始附图 · 图2 无人装载机硬件组成

图2标示底盘101、工作装置102、无人机停机坪103、环境感知模块104、姿态感知模块105和中央控制模块106。

查看高清原图 ↗

图像拼接、特征识别与点云融合构建作业场景三维视图

无人机环绕现场采集图像、点云及自身姿态和位置信息;图像经畸变矫正和关键像素点标定后完成相邻帧拼接。

场景特征识别结果、全局二维视图与处理后的点云数据融合,形成作业场景三维视图。

图5 无人机作业场景构建流程
专利原始附图 · 图5 无人机作业场景构建流程

图5从无人机起飞和图像、点云采集开始,经图像拼接、特征标定和点云处理,形成作业场地全局三维地图。

查看高清原图 ↗

节点可行性与路径—功耗双目标用于选择作业路线

料堆、车辆、建筑物和地形特征经过分割及位置标定,再分析节点间路面状况和路径通过可行性。

以装载机实时位置、料堆和卸料点为路径节点,其余特征作为障碍点;候选路径结合路面状况,以路径与功耗为目标进行选择。

图6 装载机作业路径规划流程
专利原始附图 · 图6 装载机作业路径规划流程

图6依次展示地形特征分割与标定、路面和可行性分析、候选路径规划以及路径与功耗目标下的路线选择。

查看高清原图 ↗

关键帧图像与料堆点云共同提供物料和三维几何信息

在卸料点到料堆点方向的优化路径上标定关键帧捕捉点,并在相应位置获取料堆彩色图像。

图像用于识别物料种类、提取角点并划分网格;点云和彩色图像融合得到料堆长、宽、高等三维几何信息。

图7 物料识别与工作装置控制流程
专利原始附图 · 图7 物料识别与工作装置控制流程

图7展示关键帧捕捉、料堆种类与粒度信息提取、点云—彩色图像融合以及训练模型驱动的工作装置控制。

查看高清原图 ↗

训练模型以料堆属性为输入并输出驱动电机转矩与铲装点

模型输入包括料堆物料种类、几何形状、料堆大小和湿度,输出包括驱动电机转矩和料堆铲装点。

装载机中央控制模块还汇集环境、姿态与路径规划信息,控制工作装置、驱动、制动和转向相关执行部分。

机载和车载感知模块分别承担全局建图、近场观察与周边障碍感知

无人机上的激光雷达、摄像头、GPS和位姿感知模块提供点云、图像、位置和飞行状态。

装载机前侧的图像与激光雷达单元获取彩色图像和景深信息,后侧及两侧的超声波雷达用于检测周边未知障碍物;具体效果以专利所述系统和场景为限。

第二层阅读

需要更快地把握方法链和核心机制?

AI简报不会替代上方的专利内容导读;它只在您主动打开时加载。

引用专利

以下格式根据专利文献标识生成;使用前请按目标期刊或机构规范复核。

GB/T 7714

姚宗伟,李昊旻,毕秋实,王永,涂鑫,李盟. 一种装载机地空协同作业方法: CN 115924074 A[P]. 2023-04-07.

APA

姚宗伟,李昊旻,毕秋实,王永,涂鑫,李盟. (2023). 一种装载机地空协同作业方法 (CN 115924074 A). China National Intellectual Property Administration.

IEEE

[1] 姚宗伟,李昊旻,毕秋实,王永,涂鑫,李盟, “一种装载机地空协同作业方法,” 中国专利 CN 115924074 A, 2023-04-07.

AI简报

正在整理本项专利AI简报…

梳理方法、结构、策略与核心机制