近日，中国农业大学张漫教授团队在中国工程院院刊Engineering农业传感器专题刊发题为“Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples”研究论文，提出适配非结构化农田场景的多模态融合三维障碍物检测方案，缓解田间标注样本稀缺带来的应用难题。

粮食需求上涨、农业从业人口缩减背景下，农业机械自主导航成为降低劳动依赖、提升作业效率的核心路径，稳健的三维障碍物检测是保障农机自主行驶安全的核心环节。相机与激光雷达可同步输出图像、三维点云数据，二者特征具备互补性，相关深度学习融合方案已成为障碍物检测主流路线，但现有模型训练高度依赖大规模标注数据集，农田场景障碍物样本稀缺、场景差异显著，多模态数据标注专业且耗时，制约算法落地田间。少样本、零样本学习可依托少量样本实现新类别泛化，然而多模态数据冗余复杂、田间地形带来样本分布偏移、图像与点云结构难以对齐，三类问题阻碍该类范式在农业感知场景落地。

研究团队构建全新多模态特征表示检测架构，集成图像与点云姿态校正器，依托北斗导航卫星系统、惯性测量单元输出姿态信息完成坐标变换，消除崎岖地形引发的姿态偏差，提升多模态数据一致性；采用特征级融合搭配体素点云编码器，减少无关区域冗余计算，提升模型运行效率；搭建语义特征编码器与几何—强度特征编码器，分别从图像提取语义属性、从点云提取几何与强度属性，再通过鸟瞰图空间融合解码器统一映射特征，区分障碍物类内相似性与类间差异性。研究选取公开KITTI数据集完成模型预训练，降低田间专属标注数据需求，依托BERT模块生成语义向量、FPFH与SICC三维描述子封装几何强度向量，经CBAM注意力模块构建语义—几何—强度融合表征空间，缩小不同障碍物类别特征鸿沟；模型采用交叉熵分类损失与平滑L?回归损失实现端到端联合优化，以中心点多任务定位头输出障碍物三维位置、尺寸与朝向。

图1. 基于多模态特征表示的障碍物检测架构。(a) 图像特征编码器, (b) 点云特征编码器, (c) 语义特征编码器, (d) 几何—强度特征编码器, (e) 鸟瞰图空间融合解码器。

研究依托搭载多模态感知设备的雷沃欧豹M904-D拖拉机，在河北涿州试验站水泥路、未耕地、小麦地三类场景完成田间采样试验，共采集3029帧多模态数据，涵盖收割机、拖拉机、人员三类典型农田障碍物。多类别田间试验结果显示，该方法可将训练样本依赖降低30%–40%，模型精确率、召回率、F?分数与检测帧率分别达到95.03%、97.01%、96.01%、16.56 FPS，检测速度高于全景相机、三维激光雷达10 Hz采样速率，满足实时感知需求；在无对应训练样本的零样本场景下，模型仍取得81.63%的F?分数，在检测性能、运行效率、数据依赖三者间形成均衡适配效果。

论文同时指出当前研究存在局限，本次试验多传感器外参提前标定且固定，针对尺度跨度较大的障碍物鲁棒性存在提升空间，后续将探索尺度自适应多模态配准策略，进一步拓展模型对多尺度田间障碍物的泛化能力。该研究成果由国家重点研发计划资助，可为农业机械自主导航提供数据高效、可扩展的障碍物感知技术支撑。

相关论文信息：https://www.sciencedirect.com/science/article/pii/S2095809926001657