论文标题：Towards spatial computing: recent advances in multimodal natural interaction for Extended Reality headsets

期刊：Frontiers of Computer Science

作者：Zhi-Min WANG, Mao-Hang RAO, Shang-Hua YE, Wei-Tao SONG, Feng LU

发表时间：17 Apr 2025

DOI： 10.1007/s11704-025-41123-8

微信链接：点击此处阅读微信文章

FCS“优秀青年计算机科学家论坛”于2019年启动，以尊重科学贡献、传播更多优秀成果为宗旨。论坛作者审视自己的研究领域，介绍研究方向和研究进展。本论坛所有文章均为特邀稿件。

本期“优秀青年计算机科学家论坛”推出北京航空航天大学陆峰教授团队的成果——探索空间计算：XR头显多模态自然交互技术研究进展。

作者简介

陆峰，教授，博士生导师，获国家级青年人才项目。现任北京航空航天大学计算机学院教授、虚拟现实技术与系统全国重点实验室学术带头人。

于清华大学自动化系获学士、硕士学位，于日本东京大学获博士学位。2013年起任东京大学特任助理教授。曾在松下新加坡实验室、微软亚洲研究院等科研院所从事科研工作。

主要研究方向：计算机视觉、人工智能、人机交互、虚拟/增强现实等。

具体研究内容：多模态自然交互（眼动+多模态、VR/AR智能眼镜交互、大空间无接触交互）、计算机视觉（增强、三维、大模型推理）、AI数字人（大模型驱动、虚实交互、情感计算）。

引用格式：

Zhi-Min WANG, Mao-Hang RAO, Shang-Hua YE, Wei-Tao SONG, Feng LU. Towards spatial computing: recent advances in multimodal natural interaction for Extended Reality headsets. Front. Comput. Sci., 2025, 19(12): 1912708

阅读原文：

文章概述

研究人员对扩展现实（XR）头显多模态自然交互技术的最新进展进行了全面综述，揭示了空间计算技术的重要发展趋势。这一及时的综述分析了人工智能（AI）和大型语言模型（LLMs）的突破性进展如何改变用户与虚拟环境的交互方式，为未来开发更自然、高效和沉浸式的XR体验提供了宝贵见解。

操作类型和交互模态分类

多模态自然交互的应用场景

随着Microsoft HoloLens 2、Meta Quest 3和Apple Vision Pro等扩展现实头显的广泛应用，空间计算技术正受到越来越多的关注。自然人机交互是空间计算的核心，使用户能够通过眼动追踪、手势和语音命令等直观方法与虚拟元素进行交互。

该综述基于应用场景、操作类型和交互模态对交互方式进行了分类。操作类型分为七个类别，区分了主动交互（用户输入信息）和被动交互（用户接收反馈）。交互模态则探索了九种不同类型，从单模态交互（仅手势、眼动、语音或触觉）到各种多模态组合。

对所回顾文献的统计分析揭示了显著趋势。手势和眼动交互，包括它们的组合模态，仍然是最普遍的研究方向。然而，2024年与语音相关的研究明显增加，这可能是由大型语言模型的最新进展推动的。关于操作类型，指向和选择仍然是最受关注的领域，尽管相关研究的数量逐年减少，这可能是由于该研究领域的成熟。相反，关于移动、视角控制、打字和查询的研究有所增加，反映了研究人员对用户主观体验和大语言模型集成的日益关注。

研究人员还识别了当前自然交互技术面临的几个挑战。例如，仅手势交互通常要求用户适应复杂的交互范式，这增加了认知负担。眼动交互面临“米达斯误触”问题，即用户在仅仅观看物品时无意中选择了它们。基于语音的交互则存在延迟和识别准确性的问题。

基于这些发现，研究团队提出了未来研究的潜在方向，包括：

1.通过多模态集成和错误恢复机制开发更准确、更可靠的自然交互；

2.通过减少身体和认知负担，增强XR交互的自然性、舒适性和沉浸感；

3.利用AI和LLMs实现更复杂、更具上下文感知的交互；

4.将交互设计与实际XR应用相结合，鼓励更广泛的应用。

该论文包含了各种交互技术的详细图示，如基于手势的绘图、眼动辐辏控制和基于LLM的语音交互，为该领域的研究人员和从业者提供了宝贵的参考。这一综述为设计XR自然高效交互系统的研究人员提供了重要见解，最终有助于推动空间计算技术的发展。

中国学术前沿期刊网

http://journal.hep.com.cn