我们的双手是身体最灵巧的部位。模仿它们众多细微的手势,一直是机器人技术和虚拟现实领域的一项长期挑战。如今,美国麻省理工学院的研究人员设计出一种超声波腕带,可以实时精确追踪佩戴者的手部动作。该腕带在手部运动时产生手腕肌肉、肌腱和韧带的超声图像,并配有一个持续将这些图像转换为五根手指和手掌相应位置的人工智能算法。
3月25日,相关研究成果发表于《自然—电子学》。
腕带让佩戴者通过自身动作控制机械手 图源:MIT
在演示中,该团队展示了佩戴腕带的人可以无线控制一只机械手。当人手做手势或指点时,机械手也会做同样的动作。在这种类似无线木偶的交互中,佩戴者可以操控机器人在钢琴上演奏简单的曲调,或将一个小篮球投入桌面篮筐。使用同一款腕带,佩戴者还可以操控计算机屏幕上的物体,例如通过捏合手指来放大和缩小虚拟物体。
该团队正利用这款腕带收集更多具有不同手部尺寸、手指形状和手势的用户的动作数据。他们想建立一个大型手部动作数据集,可用于例如训练人形机器人完成灵巧任务,如执行某些外科手术。这款超声波腕带还可用于在电子游戏、设计应用程序或其他虚拟环境中抓取、操控物体并进行交互。
“我们认为这项工作有可能在虚拟现实和增强现实中用可穿戴超声波腕带取代手部追踪技术。”论文通讯作者、麻省理工学院机械工程系教授赵选贺表示。“它还可以为灵巧的人形机器人提供海量的训练数据。”
目前,在机器人技术中有多种捕捉和模仿人类手部灵巧性的方法。赵选贺团队想知道超声成像是否能捕捉到更灵巧、更连续的手部动作。在这项新研究中,该团队将超声贴片设计整合进一款可穿戴腕带中,以持续对手腕的肌肉和肌腱进行成像。手腕里的肌腱和肌肉就像是拉动“木偶”(即手指)的“弦”,研究思路是“每次你对‘弦’的状态进行成像,你就能了解手的状态”。
研究人员将人工智能算法与腕带结合起来,并在更多志愿者身上测试了该设备,而腕带都能精确追踪并预测手部的位置。
为了展示潜在应用,该团队开发了一个简单的计算机程序,并将其与腕带无线配对。当佩戴者做出捏合和抓握动作时,这些手势对应于放大和缩小计算机屏幕上的物体,并以流畅、连续的方式虚拟移动和操控它。
研究人员还测试了该腕带作为简单商用机械手的无线控制器。志愿者佩戴腕带,做出弹奏键盘的动作。机械手则实时模仿这些动作,在钢琴上演奏出简单的曲调。同一只机械手还能模仿人手指的敲击动作,玩桌面篮球游戏。
赵选贺正计划进一步缩小腕带的硬件尺寸,并让人工智能软件针对更多来自手部尺寸和形状范围更广的志愿者的手势和动作进行训练。最终,该团队的目标是打造一款任何人都可以佩戴的可穿戴手部追踪器,以高灵巧度无线操控人形机器人或虚拟物体。
相关论文信息:https://doi.org/10.1038/s41928-026-01594-4
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。