神刀安全网

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

6月5日,面向青年外科医生、主打医疗 +VR的在线手术学习工具柳叶刀客(Surgeek )正式在上海发布,其研发公司医微讯在 2016年1月 因和张强医生集团达成合作,以及随后在 2016年3月 宣布获得约印创投数千万元天使投资,而进入大众视野。

那么,柳叶刀客究竟是如何实现医疗与 VR 相结合的?医微讯在医疗 +VR 上如何布局?36 氪通过对医微讯联合创始人兼 CEO 潘耿的专访,来 “解剖” 下其医疗 +VR 思路:

柳叶刀客 APP 主要包括两大功能——手术(3D 交互模拟)VR(360 全景视频直播和录播),这是基于不同的手术学习场景而设计的。手术是按照 APP 中的动画术式进行理性模拟操作,VR 则是感性观看专家及助手们在手术室的真实操作。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路其中,手术功能又分为教学和考核模式。教学是根据配音提示,教青年医生进行虚拟手术操作。相当于实际学习中的 “老师带徒弟的手把手教学”;青年医生学习完之后,可以进入考核模式回顾自己所学的情况,得分可以转化成积分,来解锁更高阶的术式(手术类型的最小单元)。

要想解锁更高阶的术式,要么多花点时间学得更好,要么就花钱。其术式不贵,一个约在几元钱左右。而且,得分还可以进行排行。无论学习形式,还是 APP 界面,柳叶刀客的手术功能都与游戏十分类似。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

目前,医微讯共上线了 36 种术式,覆盖了 4 个科室:骨科、普外科、神经外科、和泌尿外科。

这些术式是基于医微讯积累的人体的九大模型数据库,和 300 多部的外科医生手术动画视频制作而成。医微讯把这些积累的资源利用虚拟现实技术、计算机图形技术、以及三维技术,做成了一个在线手术模拟交互学习平台。

其模型数据库是和复旦大学医学院解剖教研室合作建立的,通过对 CT 数据源、解剖图谱、以及人的实体研究,花费了近 5年 的时间;动画视频则经过了与 200 多名作为种子用户的外科医生调研和讨论。

潘耿介绍,这 4 个科室和 36 种术式还只是第一期,医微讯最终会形成 12 个科室。每月能保证上线 20 种术式,到今年年 底会有 100 多种术式。

除了线上的术式学习,青年医生线下也可以在头盔、手柄、空间定位器、以及计算机等设备的辅助下,身临其境地进入 3D 虚拟手术室进行手术操作。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

相比起手术功能,VR 功能实现起来更加复杂,对于设备、手术室环境、网络的条件都很高。

首先,进行 VR 直播 / 录播的手术室一般会放有不同机位的摄像机,来接收不同的信号。包括 360 全景摄像机、普通 3D 摄像机、以及能传输信号的设备,如 3D 腹腔镜、电子显微镜、X 光机、CT 机、B 超机等。

360 全景相机的优点在于,可以看到整个手术室的所有场景,包括主刀医生、助手、麻醉师等角色的分工。不过,它也有缺点——看不到手术的细节。因此,要想看到细节,需要再有普通 3D 摄像机或者其他设备的配合。

像 3D 腹腔镜手术直播,柳叶刀客 APP 系统就接收了 4 路信号源——2 个 360 全景摄像机、1 个普通 3D 摄像机、再加上塞入患者腹中的腹腔镜(内置视频采集器)。

潘耿表示,所有需要进行手术操作的治疗都适合 VR 直播。不过对于摄像机之外的信号传输设备,医微讯目前还只能对 3D 腹腔镜的信号进行读取和整合。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路其次,进行 VR 直播 / 录播的手术室不能太小或者太拥挤,相机镜头(360 全景相机有 7 个镜头)与所拍物体之间须有 1.5 米~2 米的安全距离。安全距离以内,二者之间不能有杂物,如无影灯、设备、人等,不然会造成显示在 APP 中的图像畸变。

不过,医微讯通过拼接软件,能将因为实际距离小于安全距离而产生的畸变图像进行优化和处理,使之复原。从而,允许安全距离缩至 1 米。

此外,网络也是一个很大的问题。VR 直播 / 录播之前,医微讯需要对医院的网络环境进行对接和测试。带宽不够的话,要拉专线或进行卫星直播。很显然,后二者的成本很大。而且,医院对于信息安全十分敏感。它们通常使用的是局域网,对公网比较抵触,需要与院方进行多次交流和沟通。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

在 VR 直播视频中,屏幕中的所有画面都是分左右屏,且同轴同画面。因为人所看到的空间感和立体感都是左眼和右眼的信号合成。

屏幕的中间会有小白点,这是人的视觉焦点。当人的视觉焦点固定在这个小白点上的时候,只需要调节头部位置,手机里的陀螺仪就做出了相应改变,从而可以做一些 APP 菜单的选择和交互。潘耿认为,人机交互是交互领域最符合用户体验的。

在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

除了直播,其手术视频也可以录播。为了减少对服务器的压力,VR 的录播视频是按手术步骤拆分的。学习医生可以选择跳跃式加载和观看。而不是像流媒体那样,需要全部加载完成才能观看。

因为柳叶刀客仅面向医生,医微讯会对其医师资质进行审核和认证,通过之后才能开通权限。 

 “从本质上来说,柳叶刀客也是一款移动医疗工具,改变的是医生学习的方式。不过,与市面上同类型的医生工具相比,柳叶刀客最突出的特点在于将u3D、unreal等通用软件程序应用到了医疗行业,实现了 VR 和医疗的结合,具备很高的科技含量和技术创新。”

发布会上,潘耿还透露,柳叶刀客 APP 只是医微讯旗下三个子品牌之一,还包括未来将打造的 Surgeek VR(VR 手术模拟器)和 Surgeek 学院(专家授课培训)。此外,除了外科教育,医微讯还有计划在患者教育和临床辅助上发力,也不排除会做适当的硬件开发。

对于合作伙伴,除了前面提到的张强医生集团,医微讯今天也和冬雷脑科医生集团北京美尔目医院名医百强榜、以及硬件厂商蔡司正式签署了合作协议。“我们要整合内容及渠道、医学、技术等多方面的资源,打造一个医疗 VR 的战略生态圈。”

潘耿说,未来,随着技术的不断进步,以及专业内容、渠道、医疗、科研人员的加入和共同开发,医疗 +VR 的价值将不可限量。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 在柳叶刀客正式发布的今天,来“解剖”下医微讯的医疗+VR思路

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址