论文标题：Creating Collaborative Augmented Reality Experiences for Industry 4.0 Training and Assistance Applications: Performance Evaluation in the Shipyard of the Future†（为工业4.0培训和协助应用程序创建协作式增强现实体验：未来造船厂的绩效评估）

期刊：Applied Sciences

作者：Aida Vidal-Balea, Oscar Blanco-Novoa, Paula Fraga-Lamas, Miguel Vilar-Montesinos, and

Tiago M. Fernández-Caramés

发表时间：18 December 2020

DOI: 10.3390/app10249073

微信链接：

https://mp.weixin.qq.com/s?__biz=MzI1MzEzNjgxMQ==&mid=2649988494&idx=1&sn=

6025b8f1ec8ec3ae8881e46d4362defd&chksm=f1de274ac6a9ae5cf32d764d5a9d0c98f5

f6c96bdd88799e7dd48191f5987f70379c2cdcaecd&token=1965997414&lang=zh_CN#rd

期刊链接：https://www.mdpi.com/journal/applsci

研究内容

工业已经逐渐进入智能制造的4.0时代，各个国家都鼓励将新兴的技术集成到生产流程中以提高工业效率。其中，增强现实 (Augmented Reality，AR) 是一项通过自然交互和3D模型混合物理世界及数字世界的技术，能够在真实场景中显示虚拟元素。基于AR技术的培训协助类系统 (Industrial Augmented Reality，IAR) 能够提高现场安全性，改善工业流程。这种新型的IAR系统不仅能帮助工厂削减时间与成本，还能让员工适应不同的学习进度和经验。

已经有一些行业开始初步开发并使用IAR技术， 如：基于AR和VR的应用程序，实现组装气缸虚拟培训[1]；基于嗅觉的AR系统来帮助确定维护问题[2]；通过AR辅助制导系统组装任务的Microsoft HoloLens[3] 等。近期，来自西班牙拉科鲁尼亚大学的Aida Vidal-Balea等人在Applied Sciences期刊上发表的文章向我们介绍了他们与西班牙国有造船公司合作开发的，用于组装任务的培训协作式IAR程序系统 (图1)。

图1. 开发人员在大学实验室中测试IAR应用程序

训练有素的员工对企业生产力有重大影响，优质的员工培训技术是企业职能的重要一环。作为以人为中心的工具，培训协助类的IAR系统可以帮助指导新任务的执行，支持实际场景中的决策。

当初级操作员来到配备IAR的车间完成特定组装任务时，不需要携带操作手册或者询问其他经验丰富的同事，IAR程序会为其提供流程前后的信息和分步说明。操作时，操作员眼前可以看到实时的3D模型，以及动画突出显示的每个部分中执行组装的步骤。这种可视的助手不仅可以简化学习过程，还能在操作后帮忙记录用户的表现并提供支持反馈。此外，还可以使用IAR系统快速访问资料，浏览3D模型或是历史数据。需要与同事协作时，它也会通过增强通信提供共享信息[4]。

目前已经有一些企业在员工培训与技术援助方面提供了解决方案，如PTC (Vuforia Enterprise AR Suite)、TeamViewer (TeamViewer)、Microsoft (Dynamics 365)、Atos (Air Assist[5])、 Capgemini (Andy 3D[6]) 等。但程序缺乏灵活性、仅适用于封闭系统、无法自主添加新功能集成性差等缺点并不能完全满足造船厂Navantia的需求。

作者通过研究大量的文献与工业应用，给出了IAR解决方案应满足的一些要求：

1. 应与不同设备、不同操作系统及不同平台兼容，简化AR与IoT设备之间的集成；

2. 应促进可视化，允许缩放移动显示的3D模型，用户可以将模型放置在自己认为合适的位置；

3. 应可视化与每个相关部分的文档，尤其是其蓝图和物理度量；提供细节动画与顺序说明；

4. 应实现共享的体验系统，允许多个设备同时与同一虚拟零件交互。数据必须由造船厂拥有、控制和管理，尤其是涉及到军用船只的数据；

5. 应易于使用，可在短时间内熟悉。界面应尽可能简单直观，动画和交互作用也应该通过声音的再现得到加强。

文中详细介绍了创建支持AR的工业4.0应用程序设计中最重要的阶段，为对下一代IAR应用程序感兴趣的开发人员提供参考。论文以液压离合器为虚拟对象，详细说明了系统设计：用户通过HoloLens智能眼镜检测到的手势 (注视和点击) 与系统进行交互，可以通过该面板与零件进行交互以缩放、移动、开始动画或阅读有关该零件的其他信息 (图2)。

图2. 拆卸后离合器的三维模型动画

用户界面是一个跟随用户的浮动面板，具备可以显示与制造及装配相关的PDF文档面板，还可以激活动画，进行可视化模型的操作等。文中实现的基于液压离合器HoloLens应用程序的3D模型是通过Siemens NX 11[7]创建，经Blender 2.83[8]抛光后，再从工程模型转换为适合AR表示的模型。为了确保用户使用时有流畅的体验，研究人员还利用了一些优化技术减少模型多边形，降低纹理分辨率。

为了实现同时AR环境在多个HoloLens设备之间的同步，研究人员专门为IAR系统设计了结构 (图3)。由HMD设备组成的两个协作式AR网络分别具有自己的用于同步AR场景细节的主设备 (Master HMD)，以及多个跟随主设备指示，通过通信彼此共享事件的从设备 (Slave HMD)。共享AR场景时，网络通过WiFi AP (Access Point) 与运行在PC集群上的云交换信息。

图3. 协作式AR系统的体系结构

研究人员使用Unity 2019.3.3[9]和Microsoft HoloToolkit来实现3D模型交互和可视化，使用Microsoft HoloLens第一代智能眼镜开发了上述的IAR程序。为同步多个HoloLens用户，设计了基于TCP和UDP的自定义方法的主从通信协议。节点 (即智能眼镜) 会根据其他设备的响应被分配为主从节点，所有节点同步后通过UDP更新并共享信息。

为了测试保证AR平滑运行前提下同时能处理的最多用户数量，同时评估无线信道和协议的影响，作者基于Linksys路由器创建的2.4 GHz网络和通过TP-Link Archer路由器运行的5 GHz网络，对不同数量的并发用户进行了测试。结果显示，2.4 GHz网络平均需要4.8毫秒，而使用5 GHz路由器则平均需要3.3毫秒。至于对用户数量变化而言，等待时间仅有毫秒级的轻微波动。根据国际电联对触屏网络 (Tactile Internet) 的定义，无缝的视频体验需要长达10毫秒的等待时间，但快速的响应时间为1毫秒[10]。获得的结果为两次评估的中间值。可见等待时间取决于无线通信基础设施。

总结

拉科鲁尼亚大学的研究者们在IAR的工业应用方面迈出了重要的一步，但作为初步的探索，整体IAR程序还存在一些问题。例如，Microsoft框架与共享体验系统和Unity的兼容性有时存在问题；随着用户数量增加，会出现较为明显的延迟；手势操作的自由度较小，后期考虑添加语音识别会更有利于与程序的交互等。在涡轮机车间进行测试时，操作员发现单独学习初步的使用步骤稍难，但上手后非常直观，对日常工作极为有用，并建议增加更详细的组装步骤及零件切割后的内部细节。

IAR系统是一项新兴的技术，除了企业与高校，微软也已经开始开发自己的官方框架以实现共享的经验。显然，IAR将发挥重要作用，将工业4.0推向更智能的方向。

参考文献

1. Daling, L.; Abdelrazeq, A.; Sauerborn, C.; Hees, F. A Comparative Study of Augmented Reality Assistant Tools in Assembly. In Proceedings of the International Conference on Applied Human Factors and Ergonomics, 2019, Springer: Cham, Switzerland, 2020; pp. 755–767.

2. Erkoyuncu, J.; Khan, S. Olfactory-Based Augmented Reality Support for Industrial Maintenance. IEEE Access: 2020, 8, 30306–30321.

3. Ding J.; Zhu Y.; Luo M.; Zhu M.; Fan X.; Zhou Z. AR Assisted Process Guidance System for Ship Block Fabrication. In Virtual, Augmented and Mixed Reality. Industrial and Everyday Life Applications; Springer International Publishing: Cham, Switzerland, 2020.

4. Schneider, M.; Rambach, J.; Stricker, D. Augmented reality based on edge computing using the example of remote live support. In Proceedings of the 2017 IEEE International Conference on Industrial Technology (ICIT), Toronto, ON, Canada, 22–25 March 2017; pp. 1277–1282.

5. Atos Air Platform Official Web Page. Available online: https://atos.net/nl/nederland/augmented-interact ive-reality (accessed on 5 November 2020).

6. Andy 3D Official Web Page. Available online: https://www.capgemini.com/gb-en/resources/andy3d-rem ote-assistance-and-asset-revamping-web-platform/ (accessed on 5 November 2020).

7. Siemens NX Official Web Page. Available online: https://www.plm.automation.siemens.com/global/en/p roducts/nx/ (accessed on 2 December 2020).

8. Blender Official Web Page. Available online: https://www.blender.org/ (accessed on 2 December 2020).

9. Unity Official Web Page. Available online: https://unity.com/ (accessed on 2 December 2020).

10. ITU. The Tactile Internet. In ITU-T Technology Report; ITU: Geneva, Switzerland, 2014.

期刊简介

Applied Sciences (ISSN 2076–3417, IF 2.474) 是一个国际型开放获取期刊。期刊主题涵盖光学和激光、纳米技术和应用纳米科学、能源、材料、化学、机械工程、应用生物科学和生物工程、环境和可持续发展的科学技术以及计算与人工智能等领域。Applied Sciences采取单盲同行评审，一审平均周期约为14.1天，文章从接收到发表仅需2.7天。