手术室里的AR/VR技术-增强现实和虚拟现实技术在手术中的应用

2021年 11月 8日

话题:

作者:

Anne Corning

提到未来医学，有些人可能会想到《星际迷航》中的三阶仪和无针注射器，或者麦考伊医生对二十世纪医学的震惊。¹ 二十一世纪三十年代，我们可能还没有这样的医疗器械，但是当今医疗已经有了一些非常先进的技术——比如内窥镜手术以及质子束癌症治疗。

最近，增强现实（AR）已经加入未来医疗技术的行列，应用范围包括培训和教育以及患者行为健康支持、手术和诊断成像。实际上，医疗领域中AR/VR的应用预计将增长，这类技术的市场规模预计将从2020年的16亿美元增加至2027年的162亿美元，增长十倍。²

一名外科医生正在手术室中使用AR/VR设备查看患者的诊断扫描结果

医疗领域使用AR/VR带来的好处已经显现：“利用增强现实技术可以提高医疗流程的效率，比如解剖、手术服务和医学培训程序。同时，利用增强现实技术可以不断改善手术环境和程序。此外，对于康复服务，利用增强现实技术可以创造一个更加可控的环境，使用者可以进行互动，促进康复。”³

聚焦外科AR应用

每一台外科手术都有一定风险。每次切除我们皮肤的外部保护层或者每次身体内部结构和器官暴露时，都可能发生感染。做完大手术后，患者可能需要很长时间痊愈，恢复正常机能和活力。痊愈后，可能留下疤痕，有时还可能影响未来活动。因此，医疗专业人员和患者都对那些有助于减少、缩短或避免开刀手术的技术感兴趣。

除了手术室应用外，AR/VR系统也正在开发中且用于诊断支持活动以及术前准备和培训。⁴例如，一家芝加哥公司Immersive Touch^®开发了一款AR/VR平台，该平台将标准诊断成像数据进行整合，比如CT和MRI扫描。医生可以使用该平台查看患者的3D解剖学和病理学信息，通过沉浸式虚拟环境规划手术方法，以及术前演练特定的手术或者练习使用特定的医疗器械。

一名心胸外科医生使用3D虚拟模型分析患者断裂的肋骨，利用患者的模型规划手术。

手术室中的超级英雄

巴尔的摩著名的约翰斯·霍普金斯大学医学院的神经外科医生在手术中成功使用增强现实技术。2020年6月，他们完成了全球首例AR支持手术，这是一台脊柱融合手术，医生利用AR技术将六个螺丝植入患者的脊柱，用于缓解疼痛。后来，他们再次在手术中使用了AR技术，从一名患者的脊柱中切除了一个癌性肿瘤。⁵

在这两例具有突破性的手术中，医生们利用一个带有透视显示器的AR头盔投影患者的内部解剖图像。通过CT扫描获得骨骼和其他组织的内部图像——帮助外科医生利用X射线看清患者体内的情况。AR技术的一个重要优势是向医生直接显示图像，不需要将目光从患者身上移开以便观察分屏上的数字扫描结果。

增强现实技术帮助约翰斯•霍普金斯大学医学院的一名脊柱神经外科医师成功完成手术治疗。

同样地，英国圣玛丽医院和伦敦帝国学院的外科医生利用微软全息眼镜“将CT扫描的3D数字模型与手术室的患者覆盖叠加，以便手术切除前帮助外科医生了解患者独特的血管、组织和骨骼解剖”。⁶

连接远程临床团队

新冠大流行期间，许多人都接触过虚拟会议和AR远程协作平台，或者同医生进行过虚拟问诊。利用AR技术远程连接同样可以用于手术室。

巴塞罗那的一个外科团队同西班牙移动电信运营商Vodafone España合作将VuzixM400智能眼镜引入手术室。一名胃部外科医生在对一名患者进行袖状胃切除术时进行了手术直播，同佛罗里达州迈阿密的一个医生团队进行远程连接，该团队通过虚拟方式参与了本次手术。临床医师实现了远程协作和咨询，降低了面对面接触的风险，同时最大程度减少了外科个人防护设备的使用，新冠疫情导致外科个人防护设备极度匮乏。⁷

借助Vuzix M400智能眼镜，临床医生通过向远程观众和专家实时发送视频和音频协作完成治疗，减少接触风险，节约新冠疫情期间非常短缺的个人防护设备。（图片来源）

重建笑容：AR/VR技术在牙科手术中的应用

有趣的是，植牙和正颌手术目前已成为AR/VR技术在医学方面应用最频繁的领域。“虚拟规划通过统计引导或动态引导提高了种植体插入的准确性。对于正颌手术，预测规划和术中引导成为虚拟现实技术的主要应用领域。”⁸

虚拟现实技术还被用于改进口腔额面外科教育和培训，虚拟现实技术可以模拟相关情境，让学生能够练习手术，无需接触真实的患者。“触觉反馈提供了另一层面的沉浸式虚拟现实，有助于提高动手能力，加强临床培训效果。”⁹

设备质量和功效至关重要

当人们的健康和生活连网后，诊断或治疗环境中使用的任何 AR、VR 或 MR 系统都需要非常可靠。屏幕上显示的任何信息都必须对用户可读和清晰，同时不得干扰周围环境。

为了确保医疗领域使用的AR/VR/MR显示设备的质量和性能（例如头盔、护目镜和眼镜），相关硬件需要进行严格的功能测试，测试时尽量还原用户的视觉体验。亮度和色度差异、同背景环境的对比度、以及显示屏均匀性和清晰度方面的其他问题均不可接受。由于显示图像靠近眼睛，即使微小的缺陷（例如几个坏点）也会被放大，影响可视性。

瑞淀光学系统开发的AR/VR 镜头，采用特殊光学设计，专门用于测量近眼显示器（NED），比如集成在VR、AR和MR头戴设备中的显示器。这种镜头可以模拟人眼的大小、位置和视野，准确捕捉和评估用户看到的东西。

与瑞淀的ProMetric^®成像亮度计或色度计搭配使用，AR/VR镜头可以捕捉头盔内部的高分辨率显示器图像，用于进行像素和子像素测量，以便检测可能影响视觉质量的缺陷和异常。