研究背景：

在开放世界的机器人操作任务中，语言引导的无模型抓取技术正受到越来越多的关注。然而，现有方法通常只关注视觉识别和语义理解，往往忽略了目标物体的几何结构特征。这导致生成的抓取策略在面对未知物体时，常因缺乏对物体全局结构的感知而出现抓取不稳定或难以适应后续操作（如精细放置）的问题。

文章概述：

北京理工大学机械与车辆学院赵杰亮课题组提出了一种名为“通过基元拟合实现语言引导抓取”（Language-Guided Grasping via Primitive Fitting, LGGPF）的新方法，通过将语言指令与多模态感知深度融合，利用结构化的几何建模显著提升了机器人对未知物体的抓取能力。

图文导读：

该方法首先利用OWLv2视觉语言模型和SAM分割模型，结合语言指令在2D图像和深度数据中精准定位并分割目标物体。随后，算法引入了基元拟合机制，使用长方体、截头圆锥和椭球体等基本几何形状对目标点云进行拟合，从而提取出物体的近似尺寸和结构特征。

LGGPF方法的整体流程图如下图所示。系统依次执行语言指令解析、目标点云获取、基于几何基元的形状拟合、抓取姿态生成及路径规划执行。

图1

基于拟合得到的几何信息，研究团队设计了由语义几何引导的抓取姿态生成策略。该策略不仅能根据物体形状生成候选抓取位姿，还能结合“抓取杯子侧面”或“抓取香肠末端”等具体语言指令，对抓取部位进行语义控制。实验结果显示，该方法在结构化场景中的抓取成功率高达95%，在物体散乱堆叠的复杂场景中也达到了90%的成功率，展现了优异的鲁棒性和任务适应性。

论文信息：

Language-guided Robot Grasping based on Basic Geometric Shape Fitting

Qun Niu, Chuanlin Zhang, Tianyu Zhang, Jieliang Zhao*, Tie Fu, Xuemei Chen

Advanced Intelligent Systems

DOI:10.1002/aisy.202501276

原文链接：https://advanced.onlinelibrary.wiley.com/doi/10.1002/aisy.202501276

期刊简介：

Advanced Intelligent Systems是Wiley旗下智能系统领域开放获取旗舰刊。期刊收录关于具有刺激或指令响应智能的人造装置系统的研究，包括机器人、自动化、人工智能、机器学习、人机交互、智能传感和程序化自组装等前沿应用。