近日，由北京大学李廉林团队和东南大学崔铁军院士团队提出了电磁空间具身智能体的概念，并成功研制了一种名为metaAgent的电磁超材料智能体的具身智能体原型系统，实现了智能体与电磁空间的自主交互。该智能体具有强大的自主推理和决策能力，能够独立执行复杂的电磁任务。metaAgent专为智慧家庭、智慧工厂等场景设计，通过以电磁信号为主导的多模态数据理解和推理，并自主实施实时跟踪、生命体征监测及机器人控制等任务。论文成果将推动电磁-赛博空间的人机交互、认知雷达等技术的发展。这项研究成果发表在Light: Science & Applications，题为“Electromagnetic Metamaterial Agent”。

研究背景

具身智能是人工智能通向AGI的重要技术手段。现阶段，具身智能大模型体存在一系列关键问题亟待解决，其中一个亟需解决的关键是：通过与物理的融合，更好地理解物理、扎根物理。电磁空间是AI大模型尚未开发的物理空间，有非接触、私密性好、透视式等非类人的独特操控和感知方式，将显著扩展现有大模型的感知空间、推理空间和动作空间，亟待开发。另一方面，智能超材料具有灵活强大的电磁物理和信息操控能力，是链接真实物理世界和虚拟数字世界的桥梁。但是，现阶段智能超材料高度依赖人为干预，且其智能仅停留在感知层面，不具有认知特性，无法自主地与物理环境交互、推理和决策。在5G/6G网络等发展驱动下，超材料的智能亟需从感知层向认知层发展，最大程度地降低人为干预，颠覆性推动物理世界与数字世界的一体化发展。目前，大模型表现出惊人的零样本学习、上下文推理和自主进化能力为超材料的认知智能发展提供了重要契机。

鉴于此，北京大学李廉林和东南大学崔铁军院士联合团队提出了电磁空间具身智能体的概念，并成功研制了一种名为metaAgent的电磁超材料智能体的原型系统，实现了智能体与电磁空间的自主交互。metaAgent以电磁信号为主导媒介，以自然语言进行推理，与人类和机器人进行交互。metaAgent将显著推动认知雷达等的发展，而且也为电磁-赛博空间的人机交互提思路。

研究亮点

图1给出了超材料的三个发展历程：无源超材料，信息超材料和超材料智能体。

被动超材料（图1a）是超材料的早期阶段，该阶段主要集中于设计各种人工微结构单元和阵列，构造传统材料不存在或传统技术难以实现的超常规媒质参数和物理现象，但是它的缺点是超材料一旦制备好，功能就固化，也就是说，实现不同电磁操控功能需要制作不同的超材料。

信息超材料（图1b）源于数字编码超材料，是崔铁军近年来提出并主导构建的超材料新体系。信息超材料的核心是：将有源器件（例如变容二极管、开关二极管等）或有源材料（例如二氧化钒等）集成到无源超材料中，并利用算法对超材料赋智赋能，打通了电磁波物理世界和数字世界；但是，它的缺点是一旦算法固定，功能也就固定，也就是说如果实现不同类型的电磁操控任务，需要依赖人为干预输入不同控制算法。

MetaAgent是大模型和信息超材料融合的产物，它具有自然语言推理能力，因此它能够根据不断变化的环境和人类反馈自主规划和执行电磁波操作（图3c）。具体来讲，研究者为metaAgent配备了基于LFMs的“大脑”和基于语义可编程超表面（SPMs）的“小脑”。metaAgent的大脑以自然语言多代理讨论为特色，利用最先进的LFM 理解环境线索，计划适当的行动，并根据可编程超表面的电磁波操作执行这些行动。在模拟的智慧家庭真实环境中，mmetaAgent能够快速响应实时的环境反馈（包括人类的自然语言指令），在指挥机器人的同时，自组织电磁操作任务的层次结构。metaAgent掌握了与无线通信和感知相关的基础电磁操作技能，并根据人类用户的反馈来记忆知识并学习过去的经验。

图1. 超材料发展的三个历程：（a）被动超材料、（b）信息超材料和（c）超材料智能体。

作为应用示例，研究者研究了metaAgent在智慧家庭中的性能在实验演示中，其中，人类用户通过自然语言与metaAgent进行交互，用户可以发出语音指令，metaAgent会根据这些指令自主规划任务并进行电磁操纵实验。

例如，在“检查Alice的呼吸状态”的实验中（图2a），metaAgent成功完成了定位用户和检测呼吸频率的任务。

对于更复杂的指令，如“帮助我的手机增强信号”（图2b）和“呼叫机器人”(图2c)等，metaAgent会通过多步任务树结构高效完成。

这些实验结果表明，metaAgent不仅能够处理简单任务，还能在复杂环境中自主应对多种人机交互。实验结果表明，metaAgent在简单任务中达到了90.2%的成功率，而在复杂任务中达到了72.3%。

这一突破为未来自主智能体和电磁操纵领域的结合开辟了广阔前景。未来，随着大模型技术的快速发展，metaAgent系统的能力将进一步增强。通过扩大其内存和行动库，以及赋予其自主学习新技能的能力，metaAgent有望成为真正具有学习和适应能力的智能体，为多个领域的应用提供强大的支持。

图2. 自主电磁操纵实验案例，其中的需求任务来自用户的语音命令：(a) “请检查Alice的呼吸状态”，(b) “我的手机收不到信号，请帮帮我”，(c)“机器人 A，请看看我”。

在智慧家庭中场景中，metaAgent也可作为一个家庭生活助手在长时间多轮人机交互任务中同样具备优势。

实验表明，metaAgent不仅能够自主响应用户的自然语言请求，还能基于肢体语言和生命体征等线索进行实时决策。

如图3a所示案例，当用户意外摔倒时，metaAgent能够通过实时监控和通信，快速理解用户的需求并派遣机器人送药。

对于更复杂的情况（图3b），metaAgent能够通过微波透视感知在非视线环境中到用户的异常生命体征，并自主制定应急计划。

实验结果显示，metaAgent在复杂室内环境中的规划成功率达84%，执行成功率为74%。此外，系统对生命体征的检测准确率可以达到90%。因此，metaAgent具备超越人类感知的潜力，尤其是在隐私敏感场景中的应用，进而能够持续自主响应用户的需求，在动态和不确定的环境中提供有效的生活辅助服务。（来源：中国光学微信公众号）

图3：metaAgent长时间人机交互案例

相关论文信息：https://doi.org/10.1038/s41377-024-01678-w