VR手术

nimade

VR手术

1、 概述

什么是VR手术虚拟现实手术(Virtual Surgery-VS)作为正在发展起来的研究方向,是集医学、生物力学、机械学、材料学、计算机图形学、计算机视觉、数学分析、机械力学、材料学、机器人等诸多学科为一体的新型交叉研究领域。其目的是:使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程,在时间段上包括了术前、术中、术后,在实现的目的上有手术计划制定,手术排练演习,手术教学,手术技能训练,术中引导手术、术后康复等。

虚拟手术仿真系统是虚拟现实技术在医学领域的一个典型应用。虚拟手术是由医学图像数据出发,应用计算机图形学重构出虚拟人体软组织模型,模拟出虚拟的医学环境,并利用触觉交互设备与之进行交互的手术系统,如图1所示。虚拟手术系统,为医生提供一个虚拟的3D环境以及可交互操作平台,逼真的模拟临床手术的全过程。与传统的手术教学相比,虚拟手术具有无损伤性、可重复性和可指定性等优点。但是,该领域的大部分研究仅限于仿真的可视化阶段,由于缺乏触觉效果,医生在虚拟环境下完成的手术与临床环境差别很大。

 


 

2、 研究背景

虚拟手术系统在医学上的应用起源于医务人员对复杂的三维医学解剖体数据的可视化需求,进而发展到能对重建的数据进行实时操作,以建立可供手术和手术前规划使用的虚拟环境。在手术教学和仿真训练等方面,虚拟手术系统有着令人鼓舞的应用前景。

传统的手术过程存在风险高,病人痛苦大,术后效果不理想等缺点,手术效果受医生个人业务水平影响很大。尤其是近年来外科整复手术成为热点,比如颅骨修补术、鼻梁整形术、颧骨整形术等。利用虚拟手术系统,医生可以在对病人实施复杂手术之前进行练习,把通过成像设备获取的病人图像导入仿真系统,医生可以对实际手术作出相应的规划,或者对病变缺损部位进行较精确的前期测量和估算,从而预见手术的复杂性。

运用增强现实技术可以使医务工作者沉浸于虚拟的场景内,可以通过视、听、触觉感知并学习各种手术实际操作,体验并学习如何应付临床手术中的实际情况。这样节约了培训医务人员的费用和时间,使非熟练人员进行手术的风险性大大降低,对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义。

现代科学技术的发展越来越体现多门学科的交叉和渗透。虚拟手术(Virtual Surgery-VS)作为正在发展起来的研究方向,是集医学、生物力学、机械学、材料学、计算机图形学、计算机视觉、数学分析、机械力学、材料学、机器人等诸多学科为一体的新型交叉研究领域。

其目的是:使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程,在时间段上包括了术前、术中、术后,在实现的目的上有手术计划制定,手术排练演习,手术教学,手术技能训练,术中引导手术、术后康复等。

虚拟手术这个研究方向目前正在逐步形成之中,与之相关的一些研究方向主要有:医学可视化(Medical Visualization),医学增强现实(Medical augmented Reality),医用机器人,手术模拟(Surgery Simulation),图象引导手术(Image Guided Surgery),计算机辅助手术(Computer Aided Surgery,Computer Assisted Surgery)等。我们认为使用虚拟手术(Virtual Surgery)这个名词更加能够充分体现虚拟现实(Virtual Reality)作为计算机图形学在医学治疗过程中的作用,充分体现了人机交互和真实感。国外也有称此方向为虚拟手术室(Virtual Operating Room)或医学虚拟现实(Medical Virtual Reality)。

虚拟手术是利用各种医学影像数据,利用虚拟现实技术在计算机中建立一个模拟环境,医生借助虚拟环境中的信息进行手术计划、训练,以及实际手术过程中引导手术的新兴学科。【1】

xu2

Oculus Rift是一款虚拟现实头戴设备,其开发商是虚拟现实技术行业领头羊Oculus VR。脸谱今年3月份宣布,与Oculus VR达成最终协议,以近20亿美元的价格收购后者,其中包括4亿美元的现金和2310万股普通股股票。

Oculus Rift的目标是打造沉浸式的环境,从而提供全新的视频体验。该公司并未考虑将这款产品专门用于医学教学。然而,在医学领域,在低风险或无风险环境中对学生进行手术培训非常重要。因此,高质量的虚拟现实技术对于培训医生有着巨大的实用价值。

欧洲医生此次利用消费类科技产品,探索出了一种拍摄手术的新方式。在进行全髋关节置换手术中,医生使用了两台固定在头部的GoPro摄像机进行同步拍摄,最终制作出高清分辨率、可视范围广阔的3D版本手术全过程视频。通过Oculus Rift设备,学生将可以方便地回放手术细节,并进行暂停、快进和回退等操作,可以从主刀医生的视角观察手术全过程,仿佛身临其境。


 

3、 研究现状

waq

随着技术的发展,最初的计算机辅助手术系统已经发展到可以针对不同的外科手术进行辅助计划,由原来的导航、观摩形式,发展成为具有可操作、可交互的虚拟仿真系统。日本及欧美国家一直在虚拟手术仿真领域处于领先地位。早在 1986 年,日本、美国和瑞士几乎同时开发了由交互式 CT 机组成的导航设备,这也就是最初的计算机辅助手术系统。

国外除了知名研究机构如斯坦福大学,以及休斯顿国家医疗中心都有非常成熟的虚拟手术器械技术,虚拟显微镜技术以外,目前很多公司也在着手开发成型的手术模拟系统。此外,还有一些研究机构和商业公司也开发了许多辅助软件产品,其中比较著名的有 MIT 的 David T. Gering 等开发的 3DSlicer以及比利时 Materialise 公司开发的系列软件产品,它们将多种方式集中于一个系统环境中,可以实现配准,半自动的分割,表面模型生成,三维可视化和定量分析,并且可以实现术前的手术计划和术间的手术导航,并在临床中得到了成功应用。

国内在计算机辅助手术系统的研究主要集中在科研院校和研究所,例如清华大学、浙江大学、上海交通大学、中国科学院自动化所等都成立了医学影像相关的实验室和研究院。研究方向大多集中在三维仿真、三维绘制以及软组织模拟等。

mp50819037_1451224556124_2

随着科学技术的进步,计算机在各个领域起着不可估量的作用。近年来虚拟现实(Virtual Reality)技术达到了新浪潮。它是充分利用计算机的高级计算能力并借助辅助工具来达到对现实世界的虚拟化。虚拟手术训练系统是虚拟现实技术在医学领域的一个典型应用。那什么是虚拟手术呢?该技术的实际意义和技术难点在哪里?国内进展如何呢?【2】


2015全国科普日北京主场,潘老师正在虚拟手术模拟器上进行训练示范
潘俊君老师主要研究方向包括:虚拟手术,计算机动画,三维医学可视化,计算机视觉等。他在英国研究期间, 带领团队研发了世界首台直肠癌腹腔镜手术的虚拟训练系统,其成果得到国际学术及工程界的广泛认可,并获得BBC电视台、报纸及知名医学杂志的采访与报道。 在美国研究期间,作为软件组负责人,与哈佛大学医学院合作参与了美国国家卫生研究院(NIH)专项基金支持的世界首台通过人体天然孔洞的虚拟内窥镜手术系 统的研发。推出了一款虚拟手术系统专用的物理引擎:SoFMIS-NOTES。

2013年11月,怀着科技实业报国之心,作为北航“卓越百人计划”引进人才,潘俊君老师来到北京航空航天大学计算机学院继续开展其虚拟手术训练系统研究。

潘老师待人热情为人质朴,思维活跃,典型的海归实力派青年学者。潘老师介绍说虚拟手术技术是一种多学科交叉的前沿技术,是由医学图像数据出发,应用计算机图形学重构出虚拟人体软组织模型,模拟出虚拟的医学环境,并利用触觉交互设备(力反馈器)与之进行交互的模拟仿真系统。潘老师认为这种技术的出现将给国内临床领域带来重大的变革。

传统的手术过程存在风险高,病人痛苦大,术后效果不理想等缺点,手术效果受医生个人业务水平影响很大。尤其是近年来外科微创手术成为热点。虚拟手术系统,为 医生提供了一个虚拟的3D环境以及可交互操作平台,可以逼真地模拟临床手术的全过程。利用虚拟手术系统,医生可以在对病人实施复杂手术之前进行练习,把通 过成像设备获取的病人图像及模型导入仿真系统。医生还可以对实际手术作出相应的规划,或者对病变缺损部位进行较精确的前期测量和估算,从而预见手术的复杂性。运用增强现实技术可以使医务工作者沉浸于虚拟的场景内,可以通过视、听、触觉感知并学习各种手术实际操作,体验并学习如何应付临床手术中的各类突发情况。这样节约了培训医务人员的费用和时间,使非熟练人员进行手术的风险性大大降低,对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现 状有着特殊的意义。

虚拟手术训练系统在国外已经成为主流,而国内市场刚刚开始
据潘老师介绍,由于国内外医疗环境的差别,虚拟手术在国外已经非常普遍,国外由于医用尸体的短缺以及对动物的保护,外科医生的训练手段相当有限。因而虚拟手术模拟器就提供了一种有效的训练手段,目前已经成为临床培训的主流方式。而国内还处于起步阶段,有着巨大的市场空间。

mp50819037_1451224556124_3


目前国内针对外科手术训练通常是在尸体、动物或者人工合成物(如硅胶)上进行的。 尸体能够提供一个真实的解剖结果,但是来源稀少,并且尸体跟活体对手术器械表现出的响应并不相同。动物活体能够表现出真实的响应,但费用昂贵,并且在医学伦理道德上越来越受到限制。人工合成物价格便宜,但是不能很好地反应软组织的物理特性。相比之下,虚拟手术技术具有手术环境及器械响应可控,可重复演练等多项优点,成为未来外科培训的趋势。

近年来,我国医患关系紧张,有一个原因就是与初级外科医生训练时间少,技术不成熟有关。不过随着我国的社会发展,尸体的获得会越来越难,以及医患关系的紧 张,都不断要求医院采取新的有效手段训练医生的手术技能。因此虚拟手术未来在我国将具有巨大的发展潜力。医生借助虚拟手术模拟器进行手术训练及规划,可降低手术训练以及治疗的成本和风险;减少医生培训教学中对动物和尸体的依赖;提高临床医学诊断、治疗的技能和精度;使得高难度手术得以更快地普及;减轻患者的治疗痛苦、缩短滞院时间、降低医疗支出。【2】


潘老师回国后带领团队开发出了具有自主知识产权的更为先进的虚拟手术训练系统。据潘老师介绍,他们研制的系统目前已经与国内几家大型医院展开合作,计划投入使用。由于国内没有类似的产品技术,国外的商业医学模拟器垄断了整个市场,而且具有绝对的定价权,一台以色列的腹腔镜手术模拟器(Simbionix- Lap Mentor)基本配置大概在100万人民币左右,而且只有最基本的功能模块。如果后期要增加新的模块,还需要购买,大概一个模块价格在15万左右。而国 内北航同样的虚拟手术模拟器基本配置价格在60万左右,并使用符合中国人特征的病例模型,这将有效打破国外产品的市场垄断。


潘老师团队研制的虚拟手术模拟器,如图1所示。系统主要包括操作手柄和显示屏。显示屏用来显示虚拟人体软组织模型。操作手柄连接力反馈器,提供交互功能。用户通过操作手柄对虚拟人体组织模型进行手术模拟。目前该手术训练系统提供的虚拟训练包括基础训练、消化外科和肝胆外科等模块,如图2所示。未来还将开发妇科以及泌尿外科等模块。其中,基础训练模块是用来帮助医生熟悉基本的微创手术操作,如图3和4所示。潘老师也给我们示范了具体病例的手术训练,如图5所 示。整个系统运行的视觉效果非常逼真,令人叹为观止。

 


 

4、 主要用途

yongtu

◆ 手术方案能够利用图像数据,帮助医生合理、定量地制定手术方案,对于选择最佳手术路径、减小手术损伤、减少对临近组织损害、提高肿瘤定位精度、执行复杂外科手术和提高手术成功率等具有十分重要的意义。虚拟手术系统可以预演手术的整个过程以便事先发现手术中问题。虚拟手术系统能够使得医生能够依靠术前获得的医学影像信息,建立三维模型,在计算机建立的虚拟的环境中设计手术过程,进刀的部位,角度,提高手术的成功率。

◆ 手术教学训练80%的手术失误是人为因素引起的,所以手术训练极其重要。医生可在虚拟手术系统上观察专家手术过程,也可重复实习。虚拟手术使得手术培训的时间大为缩短,同时减少了对昂贵的实验对象的需求。由于虚拟手术系统可为操作者提供一个极具真实感和沉浸感的训练环境,力反馈绘制算法能够制造很好的临场感,所以训练过程与真实情况几乎一致,尤其是能够获得在实际手术中的手感。计算机还能够给出一次手术练习的评价。在虚拟环境中进行手术,不会发生严重的意外,能够提高医生的协作能力。

◆ 术中导航与术中监护 介入治疗是在手术过程中进行荧光透视法、超声、MR下,在图象的引导下进行定位。而虚拟手术的手术导航无须在介入环境下,将计算机处理的三维模型与实际手术进行定位匹配,使得医生看到的图象既有实际图象,又叠加了图形,属于计算机增强现实。如手术使用了第二种成像手段,例如内窥镜,则将实时观测的图象与术前CT或MRI进行匹配定位融合,对齐两个坐标系并显示为图形,引导医生进行手术。

u10582p2dt20140817103351

Oculus Rift正是这样一款虚拟现实头戴设备。这款产品的开发商Oculus VR成立时间只有2年,今年早些时候已被Facebook收购。Oculus Rift的目标是打造沉浸式的环境,从而提供全新的视频游戏体验。该公司或许并未考虑过将这款产品用于医学教学。不过根据Facebook的说法,Oculus将成为一种类似智能手机的平台。【3】

格雷高里医生此次试图利用消费类科技产品,探索一种拍摄手术的新方式。在手术中,他使用了两台固定在头部的GoPro摄像机进行同步拍摄,当时他正在进行全髋关节置换手术。

最终制作出的视频非常出色,你可以看到高清分辨率、可视范围很广的3D版本手术的全过程。通过Oculus Rift,这种感觉就像是亲自进行手术。

此次尝试的目的是找到一种方式,使学生可以以主刀医师的视角观察手术全过程。当学生仍在接受培训时,他们必须参与到手术中,但观察主刀医师的操作非常困难。通过GoPro和Oculus Rift,学生将可以很方便地回放手术细节,并进行暂停、快进和回退等操作。这也是医生之间相互学习、分享,以及学习新技术的好方式。

业内人士认为,这只是医学虚拟现实的开始。下一个目标是实现互动性,即帮助学生利用真实设备体验真实的操作。不过,这也是未来的一项复杂挑战。

另一方面,Oculus Rfit并非一款医疗设备。Facebook或许并不希望为了这款设备可能的医学用途而与美国食品药品管理局(FDA)打交道,而相对于更庞大的用户群体,医疗只是一个很小的细分市场。不过很明显,Oculus团队实现的技术进步、他们研究成果的分享,以及虚拟现实技术开发者的兴起将推动未来10年医学虚拟现实的发展。


 

5、 未来前景

xu

虚拟现实技术手术将给临床手术领域带来重大变革;对于该技术的今后发展与应用我们要满怀信心。VR技术的应用在医疗保健领域仍旧处于初期阶段,不过,与此前别的医疗类不同,这是唯一一块与普通消费者产生联系的领域,无论是发展速度、还是普及能力,就目前的阶段来看,变现能力最快。

希望未来能将虚拟手术训练系统进一步产业化,可以在临床领域大范围的推广,让虚拟手术训练系统可以帮助外科医生提高技能、提升效率,从而造福社会大众,同时不断研发其他功能模块,不断完善该系统的性能,继续引领国内的技术发展。

 


 

6、 参考资料

 1、脸谱虚拟设备可用于医学领域 虚拟手术或成现实 网易[引用日期2014-08-19]

 2、虚拟现实技术手术将给临床手术领域带来重大变革  搜狐[引用日期2015-12-27]

 3、欧洲医生用GoPro和Oculus使虚拟手术变为现实  新浪[引用日期2016-09-09]

 

99VR视界二维码

相关文章

    404 Not Found

    404 Not Found


    nginx
在线客服