▲骨科手术训练系统用户操作截图

▲系统界面

■本报记者 贡晓丽

目前VR（虚拟现实）技术在各行业都有不同程度的应用，在医学教育领域，它是医生学习的新选择。医生只需要戴上VR眼镜就可以完全沉浸式地体验身临手术室的感觉，可以让医生全面了解手术的各个环节，第一视角学习手术技巧。

视觉学习之外，虚拟现实技术与计算机技术相结合用于建立具有实时力反馈的手术模拟训练系统，似乎更能够在一定程度上缓解当下医学所面临的瓶颈。例如用VR进行解剖教学，极大地缓解了医学教育中尸体标本短缺的情况。

“我们开发的系统，就是针对国际和国内市场上还没有较为通用、商业化的骨科手术训练系统的情况，以期解决骨科医生的手术训练问题。”中国科学院深圳先进技术研究院人机交互中心执行主任王琼在接受专访时告诉《中国科学报》记者。

满足手术训练需求

据介绍，骨科手术训练系统以椎弓根钉手术为基本背景，提供了不同种类的手术工具在脊柱上进行操作的三维交互场景模拟，主要仿真了圆钻磨骨、长钻打孔和置钉这几种椎弓根钉手术中风险较高、也最具有训练意义的手术操作。

“我们搭建了一套具有动态反馈、视觉变化的虚拟环境，与人机交互反馈的设备连接。对手术工具与骨骼交互时产生的控制力进行建模，并且模拟骨头被钻后的视觉变化，并通过VR眼镜和力反馈设备反馈给用户，模拟医生拿着钻头钻骨头的真实场景，这可以做到手眼协调方面的训练。”王琼说。

在系统中，王琼团队采用了融合体数据和面数据的数据结构，不仅可以满足在骨骼拓扑结构频繁改变状态下的三维手术工具与骨骼模型之间100Hz的碰撞检测刷新率，同时还可以精准地对磨削后的骨骼表面进行重建，并建立了基于磨削原理的手术工具交互反馈力模型，通过GPU硬件的加速，可以保证力觉的刷新率在1000Hz以上，避免视、触觉交互场景的失真。

该项目可以为医生进行椎弓根钉手术训练提供较为真实的、具有实时力觉反馈的虚拟三维场景，解决临床骨科医生缺乏手术训练机会的问题。

因为用不同的计算机程序可以产生新的交互环境，满足不同的手术训练的情况。“系统可以设置手术的难易程度，开始训练时，系统给出固定的骨钉位置和下钻方向，进阶后把所有预设信息全部删除，训练者自己判断病情与钻头位置，增加难度，这样的训练方式更加有效。”王琼说。

不同的变化方式，一方面提供精细、有效、重复的训练，既节约经济成本，又可以实现传统训练做不到的进阶训练。

四大总体框架

王琼介绍，一般虚拟骨科手术系统的总体设计框架主要包括: 三维骨组织建模、虚拟手术工具建模、形变仿真和力觉模拟以及人机交互模块等四个主要组成部分。

三维骨组织建模主要负责从原始的CT 扫描的二维数据图像中，利用图像处理方法将目标骨骼区域分割出来，然后利用三维重建方法，将骨骼三角面片网格提取出来，同时还可以融合体数据表示的三维骨骼模型。为了方便给后续的力觉建模打下基础，进而对不同的骨骼部位所具有的物理材料属性进行设定，这些参数一般需要通过真实的组织承压拉伸测试或者有限元建模的方法进行确定。

虚拟手术工具的建模对手术中会用到的手术器械，创建它们的三维几何模型和物理模型，并实时接收交互硬件设备传送的信息，用来确定手术工具模型当前的位置、姿态和运动状态。

形变仿真和力觉模块要通过虚拟手术工具与三维骨骼模型之间的碰撞检测来确定两者之间的交互区域，获取交互信息，并对骨骼的三维模型进行相应的形变。通常碰撞检测算法的选取与力觉交互建模有十分紧密的联系，根据力模型的计算特性选择恰当的碰撞检测算法可提高整体的运算效率。随后，可根据获取的交互信息，计算碰撞交互力。

人机交互模块提供人与计算机交互接口。一方面将用户控制力反馈设备时，对设备的空间位置坐标、变化矩阵以及用户手移动的速度等，传送给虚拟手术工具模块，用于力觉计算。此外，还负责对交互模拟的力觉反馈结果进行实时渲染，使用户感受到手术工具上所受到的力觉效果。

遵循总体框架建构的骨科手术训练系统，与传统的训练模式效果比较之后，得到了合作医院的认可。但同时，系统建立的每个环节也存在很多困难。

模拟系统目前大多采用标准化的模型，个性化的病人数据案例比较少，因为在将病人医学图像数据处理做成个性化三维模型时，中间涉及到的环节非常多，包括：图像处理、图像分割、三维重建、模型修补等步骤。一方面它们复杂费时，很多步骤仍需要人工介入处理，另外在将模型用于虚拟手术系统时，考虑到计算速率的问题，又需要对模型的体量进行控制，使用过于精细的数据会影响交互、计算速度，而使用简化的模型，虽然可以提升计算速率，但又可能会丢失了病人的疾病特征。“这些要素之间要做到平衡，由图像数据转变为可交互的三维模型，中间环节多，目前还没有统一的标准和成熟的解决方案。”王琼说。

应用仍有条件

在高盛2016年的报告中对VR医疗的市场规模进行了预测：2020年VR/AR（增强现实）的市场规模将达到800亿美元，其中在医疗保健领域市场达到51亿美元，覆盖340万用户。未来几年VR将会给医疗行业带来巨大的想象空间，而中国必然将为VR+医疗提供巨大的发展空间。但在目前的实际应用中，某些领域似乎并不顺利。

“不论应用在哪个行业，虚拟现实普遍存在内容生成不够丰富，以及重度VR应用真实感、沉浸感不强的情况。”在解释经历2016的火热，虚拟现实逐渐回归理性的原因时，王琼说道。从医学的角度来看，一套模型只能用在一套系统上，换一个病种或手术工具，算法、数据模型就要重新来做，整套虚拟场景的建立非常缓慢，这导致虚拟手术系统的开发周期相对较长。

医生接受度也是影响虚拟手术系统应用的方面，“我国的医生有严格的行业规范，要破坏原有的训练流程，提高医生的接受度，仍需要进一步努力。”王琼说。

对比临床手术领域，VR应用在康复医疗领域接受度更高，先进院医工所医学图像与数字手术研究室吴剑煌团队研发的虚拟脑卒中康复训练系统正在推进应用。该系统向脑卒中患者提供了一种成本低廉且有效的康复训练方案。利用虚拟现实系统，患者可以在虚拟环境完成可控的功能性运动和操作，完成有意义的任务性训练和得到视觉、听觉、触觉的反馈。

而对于医疗美容领域的VR应用，相比骨科精度要求更高，涉及软组织处理容易发生形变，王琼认为，整形领域的VR应用也有很多需要解决的问题。

人才短缺、硬件设备价格、穿戴设备的舒适度、软件系统如何快速开发等都是VR发展过程中需要面对的问题。但从长远看，"硬件的计算速率不断提升，整体还是会平稳推动行业的发展"。王琼说。

中国工程院院士赵沁平对VR在医疗领域的应用十分乐观：“虚拟人体已经成为‘实验室到病床’转化医学研究的新概念平台和实验手段，并已广泛应用在医学研究、新药开发、虚拟手术、医疗器械开发、医学教育培训、康复训练等方面。未来十年，虚拟人体可能在生命科学和医药领域产生颠覆性的影响。”