第18卷第2期
O rthoraedic B iomechanics M aterials A nd C linical S tudy
.1.
doi: 10.3969/j.issn. 1672-5972.2021.02.001文章编号:swgk2021-02-00050
基于增强现实在髓关节术前定位中的动物实验研究*
*基金项目：国家重点研发计划课题(2017YFC0108102)；北京市科技计划(首 特)课题⑵ 71100001017209)
作者单位:1北京中医药大学，北京,100029； 2北京大学，北京,100191 ； 3北京 航空航天大学，北京,100191；4中日友好医院骨科，免疫炎性疾病北京市重点 实验室，北京,100029
邹昆I 王淇2于东方'丁冉4张启栋°郭万首4王卫国轻
［摘要］目的利用基于X 线叠加技术的增强现实(AR)技术在比格犬上进行髓关节术前精确定位，并评估定位
效果。方法取20只比格犬，采用基于X 线的二维图形叠加技术的AR 技术进行术前定位，通过术中C 型臂验证
与术中所见目标的实际位置对比，评估该方法的定位准确度、结果可重复性，计算总定位平均用时和C 型臂投
照次数，记录实验过程中不良事件。结果正位定位误差(1.05±0.81) mm，侧位定位误差(1.29±1.26) mm，但
是正位的Lerror (反映了该实验结果的可重复性)为(64.89±99.90) %，侧位片的Lerror 为(108.6H156.93) %, 总定位平均时长(1&25±9.68) min, C 型臂平均投照次数(6.35±2.33)次，定位准确度符合预期，实验过程中
五世班禅
无不良事件发生。结论采用基于X 线叠加技术的AR 技术进行髄关节术前定位安全、精准。然而，该系统的定
位准确性仍需更多的临床实践进一步明确O
［关键词］增强现实：瓠关节；动物研究；图像叠加技术；定位
［中图分类号］R318 ［文献标识码］A
Asssment of augmented reality performance for preoperative positioning in beagles' hip joint
ZouKun , Wang Qi 2, Yu D ongfang 3, Ding R an", Zhang Qidong 4, Guo Wanshou , Wang Wsiguo 4. 1 Beying University
of C hine Medicine, Beijing, 100029; 2 Peking University Beijing, 100191; 3 Beijing University of A eronautics
and Astronautics, Bering, 100191; 4 Department of O rthopaedic Surgery, Beijing Key Lab Immunes-Mediated
Inflammatory Dias, China-Japan Friendship Hospital, Bering, 100029, China
[Abstract] Objective To prospectively asss overlay technology in providing accurate and efficient targeting for X-ray
imaging-guided beagles' hip puncture. Methods Twenty beagle dogs were lected, and AR technology bad on X-ray
two-dimensional graphics overlay technology was ud for preoperative positioning. The intraoperative C-arm was ud
to verify the actual position of the target en during the operation. The customized method was ud to evaluate the
system's positioning accuracy, measurement repeatability, total positioning average time and average C-ann shot times,
and adver events during the experiment were recorded. Results The frontal positioning error was (1.05±0.81) mm,
the lateral positioning error was (1.29±1.26) mm, the frontal Lerror (the score for measurement repeatability) was
(64.89±99.90) %, the lateral was (108.61±156.93) %, and the positioning is accurate with expectations, the average
number of shots of the C-arm was (6.35±2.33) times. The average positioning time was (18.25±9.68) min, and no
adver event occurred during the experiment. Conclusion The u of AR bad on X-ray imaging-guided technology is
safe and accurate. However, the positioning accuracy of the system still needs more clinical practice to further clarify. [Key words] Augmented reality; Hip; Animal testing; Image overlay technology; Positioning
股骨头坏死是骨科常见病。对于早期没有塌陷的股骨头
坏死的患者多主张采用微创手术治疗叫“微创化”也是股 骨头坏死保髏治疗手术发展的必然趋势，如何使微创手术 “精准化”是目前亟待解决的问题。“增强现实”(augmented reality, AR)是一种将数字化虚拟信息叠加到真实场景的一 种技术，目前在医学领域，尤其是骨科微创领域，尚未广泛 应用叫目前骨科微创手术［3］存在学习曲线长、体表定位
不准确、穿刺失误导致重要结构损伤及过多X 线透视带来
的放射危害等问题。导航和机器人手术冋可提高手术的精 确性，但设备昂贵，操作复杂，不利于推广，且要有创定 位。本研究拟利用“增强现实”技术，实现微创手术“透视
伦琴射线化”、"精准化”，计划把定位误差缩小至2 mm 以内，提高 其安全性、稳定性及可推广性。1材料与方法
1.1研究对象
纳入20例比格犬(平均体重13.5 kg，年龄2岁)的左
侧髓关节进行研究，手术于2020年9月〜2020年12月在 北京大学第三医院动物实验中心配备透视C 型臂的手术室 进行，研究方案经本院医学伦理委员会批准。
1.2研究方法
术前于比格犬左侧豔关节正侧位上选取虚拟穿刺路径
第18卷第2期
生物骨科材料与临床研究
O rthopaedic B iomechanics M aterials A nd C linical S tudy .2.
和靶点，通过术中实时可视化虚拟仿真系统引导进行穿刺， 术后进行c 型臂验证，将实际穿刺路径和虚拟穿刺路径进 行对比分析。评测指标主要为克氏针与虚拟针尖之间的相
差距离，与实验结果的可重复性、定位用时和C 型臂投照 次数。记录实验过程中不良事件（包括大出血、神经损伤 等），计算不良事件发生率，研究流程图见图1。
1.3系统介绍
该骨科微创术中实时可视化虚拟仿真系统V1.0由北京航 空航天大学团队研发，计算X 线片上的影像坐标系与现实空 间坐标系之间的相互映射关系，利用固定在穿刺针上的被动
红外跟踪设备实现对穿刺针的定位跟踪，完成穿刺针与X 线 影像的配准，最终实现穿刺针与X 线影像的实时耦合，见图2。
识别无创标记架
I 裁剪、旋转、尺寸调整术前X 线
图1动物实验研究流程图
1-NDIPolaris 光学追踪设备;2—顶部高清摄像头;3—显示屏;4—侧位高清摄像头;5—固定架上的电钻;6— C 型臂。
天生我才必有用
图2动物实验整体环境
1.4系统术前配准
1.4.1无创标记架参数录入
打开研软件，打开NDI 匹，设置好无创标记架相关参 数，依次把放在比格犬背部的标记架、侧面的标记架和带有标 记架的电钻放在手术区域，自主设置带直角边的两个标记小球
连线的中点为空间中的原点，两个标记小球连线为X 轴，纵轴 为Y 轴和根据右手定则设置Z 轴，设置好坐标后，等出现的虚 拟针尖和视频图像中的真实针尖重合为参数录入成功，见图3。 1.4.2三个标记架与手术空间关系参数录入
摆放器械时需注意将NDI 的有效追踪区域与手术空间
区域重合，并确保手术器械在手术空间内可以被有效追踪 到。配准标定是系统使用的先决条件，系统在正式使用之 前，正位视频及侧位视频需要在手术工作区分别进行配准标 定工作（正位视频配准20
次、侧位视频配准13次），以便 完成系统的校准工作。具体流程是打开NDI 设置，设置NDI 端口 （COM8，计算机的设备管理器中查看NDI 端口），设
置针尖虚拟长度116 cm （电钻上露出来的克氏针长度），然 后开始设置追踪相关参数，把正位的标记架放入手术空间区 域，把手术操作空间想象分为上、中、下三个区域，正位配
准上中下三个区域分别是6次、9次和5次，侧位配准中近
第18卷第2期O rthopaedic B iomechanics M aterials A nd C linical S tudy.3.
姐弟恋好吗处是4次，中间是5次，远处是4次，这样在手术区域正位
和侧位各个地方都有标记架的三维坐标，至此配准结束，大
约耗时30min，需注意在配准过程中NDI定位设备是否有
效追踪到标记架坐标，且需将标记架红色标记点放置于左上
角的位置。配准过程即计算NDI红外定位设备与ZED深度
相机的空间位置关系，若手术过程中设备位置改变、空间位
置关系发生变化，则需重新完成配准操作。数据采集在AR
手术导航系统初始化后进行。将虚拟穿刺针投射到深度摄影
机空间并叠加在透视图像上，见图3。
1.5手术步骤
1.5.1比格犬放置方法
先给比格犬术前左髓部备皮，静吸复合麻醉后，俯卧位
于手术台上，如图3所示，要求比格犬放在两个摄像头正
中，可以从显示屏的正位和侧位查看，并要求犬尽量靠近术者，不然侧位片拍摄时会放大X线影像。对侧豔关节牵引向前，避免阻挡侧面摄像机对左髓的视野。
1.5.2比格犬正侧位片拍摄方法
保证C型臂的X线投射信号灯与正位、侧位ZED深度相机高度及方向相同，避免人为放大或缩小X线影像，保证X线与视频融合导航的有效性，且标记架上的4个小球要在X线影像内，并且清晰可见，不能
有重叠影，要求小球的灰度值与四周图像的灰度值差值越大越好，越容易分辨，对后期处理越好，如果灰度值相近，但是肉眼可辨别的话，后期可以用图片编辑软件加深小球部分的颜色。
1.5.3图像配准与融合
把比格犬正侧位图片导入计算机，使用图片编辑软件旋转、裁剪、尺寸调整，使正位片X线影像与视频中正位片影像方向一致，侧位片X线影像与侧位视频方向相反，然后打开正侧位视频，选定对应X光片，正侧位配准融合，见图3O 1.5.4手术流程
撤去放置在比格犬豔关节正位和侧位的标记架，此时X 线影像已经叠加在显示屏上的正侧位影像上，以半透明显示，在NDI追踪打开的情况下，这时虚拟红蓝线将会跟随真实的克氏针的位置实时跟踪变化。拍摄好犬髓关节正侧位X线后，在手术床床沿用透明胶带做_个标记，便于术后移动手术床验证时，比格犬还在同一个位置。对犬左豔穿刺区域（手术区）和克氏针（穿刺工具）消毒穿刺，在导航屏幕上，实现双窗口显示，左窗口显示正位比格犬二维影像的体绘制结果和克氏针与真实手术场景中探针与比格犬实际解剖结构间的相对位置关系，右窗口显示的是侧位，见图3，根据显示屏上虚拟针尖走向进行穿刺，选择直径为3nmi克氏针到达股骨大转子处为穿刺标准，穿刺好后，截取计算机桌面正侧位影像。这时用固定 架固定电钻在穿刺位置，移动手术床在原先标记的地方，相同的方法拍摄穿刺后的正侧位片，导出C型臂中的术后正侧位影像与显示屏截图中的正侧位对比，见图3、图4。图3A.
比格犬正面观;B.比格犬后面观;C.两个红色方框要求在同一水平位;D.显示屏上为穿刺后顶视图（正位片）和正视图（侧位片）截图
图4A.术前比格犬左髓关节正位片；B.术前左髓侧位片;C.术后左髓正位片;D.术后左醜侧位片
1-6定位准确度评价指标
使用Photoshop CC软件将显示屏截图与术后X线正侧位图片重叠，设置术后X线正侧位图片透明度为58%O我们先计算定位准确度，即计算正侧位片克氏针与虚拟针尖之间的欧氏距离，计算该结果的重复性叫为虚拟针尖到比格犬的股骨外侧皮质纵轴线的垂直距离与克氏针针尖到比格犬的股骨外侧皮质纵轴线的垂直距离之差的绝对值占克氏针针尖到比格犬的股骨外侧皮质连线的垂直距离的百分比，具体公式为L error=|L fal-L ta e|/UeXlOO%（L error：定位误差重复性; L唤：克氏针针尖到比格犬的股骨外侧皮质纵轴线的垂直距离；L fal：虚拟针尖到比格犬的股骨外侧皮质纵轴线的垂直距离），为了估计导航误差，以无创性基准标记物为标志物，计算每个测试的导航误差的平均值和标准差。总定位平均时长为开始穿刺到拍摄好比格犬正侧位X线所用的平均时间。平均C型臂投照次数为20组实验C型臂投照
第18卷第2期
O rthopaedic B iomechanics M aterials A nd C linical S tudy
.4.次数的平均值。
2结果
通过基于X 线影像叠加的AR 技术进行比格犬髓关节 术前定位，从图3D 能够较准确勾画出股骨头的体表投影, 且屏幕上真实针尖与虚拟针尖的定位误差＜2mm，角度误差 为0。。术中证实：通过AR 技术定位的预计位置与真实位置 具有较高的契合度，如图4所示。图4C 为第14组术后左 髓正位片定位误差为0.5 mm，角度误差(虚拟针尖与真实针 尖的夹角)为0°，图4D 为第14组侧位片定位误差为1.9mm, 角度误差为ll.l°o 每个测试的导航误差的平均值和标准差结 果如图5、图6所亦。
数据来源：中日友好医院
数据来源：中日友好医院
上海医保咨询电话
图6侧位片定位误差与C 臂投射次数
总定位平均时长(18.25±9.68) min，正位平均定位误差 (1.05±0.81) mm, L error 为(64.89±99.90) %，侧位平均定位 误差(1.29±1.26) mm, L 旳为(108.6U156.93) %, C 型臂 平均投照次数(6.35±2.33)次，
定位准确度符合预期，实验 过程中无不良事件发生。
3讨论
目前，骨科微创仍依靠二维X 线透视引导及术者的自 身经验，存在学习曲线长、体表穿刺点定位不准确、手术时
间延误、穿刺失误导致重要结构损伤及过多X 线透视伴随 潜在辐射等问题閃u，在关节外科的微创手术尤其突出。虽 然临床中已有导航和机器人辅助手术技术应用［12'16］，但由于 其设备昂贵，操作复杂，不利于在国内医院推广，且其需要 有创定位，不能满足骨科微创手术的需求。与徒手操作相比,
美国Philips 公司发布的基于AR 技术的手术导航系统［17］
(augmented reality surgical navigation, ARSN )对尸体的 94 枚椎弓根钉置入的实验表明ARSN 的整体准确率更高。与 传统导航系统相比，AR 导航可以根据在穿刺过程中进行智 能跟踪定位，配准好后，可以实时可视化显示，向外科医生 提供最佳的医疗信息［叫 从而降低穿刺风险，减少拍片次
数。缺点是定位耗时长，韩芸峰等［19］基于Sina 的增强现实 技术在椎管肿瘤手术定位中应用，Sina 定位组的总定位用时 ［(12.5±3.0) min ］，较传统体表解剖定位组［(9.3±1.7) min ］
长，两组比较差异有统计学意义(A2.913, P=0.009) o AR 导航还要依赖基于视觉和红外的外部导航系统，需要限制手 术人员和C 型臂的自由移动，在配准过程中需要大量人工交 互解决配准不良问题，因此未来在设计手术室时要考虑这类 设备的摆放，考虑系统精度与手术工作流程之间的权衡㉔创。
随着光学跟踪系统数据采集分辨率以及惯性跟踪系统刷 新率的提高，使得位置跟踪的精度和效果不断提高，已经被 应用于手术模拟训练、手术规划等应用［22'23］o 本研究充分发 挥了现有跟踪系统的高精度和惯性跟踪系统不受遮挡影响的 优势，提出了通过光学跟踪系统对惯性跟踪系统的数据进行 校正的方法，提高了位置定位和位置跟踪的准确性。本研究 运用体表无创定位装置、空间坐标系定位架及有空间定位功 能的经皮介入专用工具进行体表无创标记，并构建精准化的
手术三维坐标系统。该实验选择直径3 mm 克氏针到达股骨 大转子处为标准而不以是股骨头穿刺为标准是因为比格犬股
骨头直径约10mm，选择克氏针穿透骨皮质存在困难。克氏 针太细，容易使克氏针变形；克氏针太粗，理论上易导致股 骨头粉碎性骨折，实际是穿刺针过程中未穿透骨皮质，却造 成比格犬移动，从而因三维坐标关系改变，使手术失败。
本实验利用X 线作为增强现实技术主要考虑三点:①本 套设备目的是应用于临床，CT 数据获取时间长，患者位置 和姿势变化会影响配准结果，需要保持在一个固定姿势，对 患者造成额外负担，有较
差的用户体验，况且现实中给比格 犬拍摄CT 存在困难。②理论上CT 作为增强现实技术的媒 介可能取得更好的影像学效果，但X 线数据获取简单，更适 合图像融合，2D 到2D 配准精度更高，从3D 到3D 体配准， 即三维CT 模型匹配到人身上，即使有更精确的模型，但现 有算法达不到二维的匹配精度。③首先无法把CT 设备搬到 手术室进行拍摄，如果用现有CT 数据进行人体配合，因人 们无法在手术台上摆出当时拍摄CT 时的姿势，肯定有误差， 因三维空间关系改变造成匹配误差，有1 cm 的位置移动就 会有1 cm 的匹配误差。该实验正位平均定位误差(1.05±0.81) mm, 侧位平均定位误差(12驻126) mm，符合预期小于2mm 的定位 准确度，但是正位的G 为(64.8^99.90) %，侧位片的L^or 为 (108.6U156.93) %, 反映了该实验结果的可重复性，从图5和图6可以看出重复性不稳定，特别是侧位片的时候， 这个可能与样本量小，实验者的手术经验有关，还有侧位定 位图像与比格犬本身重叠不佳是误差的主要来源
。
第18卷第2期O rthoraedic B iomechanics M aterials A nd C linical S tudy.5.
该实验需要术前30min进行三维空间定位配准，这还不包括制作定位模型花费的时间，受操作者影响较大。也依赖于操作者的拍摄比格犬正侧位的主观经验和对应用程序的熟悉程度，比格犬、C型臂、NDI设备的摆放妙，室内光线和麻醉医生的配合程度均会影响匹配的准确性，该系统也无法立即对匹
配结果进行紘和反馈，需要后期处理。其他的误差来源可能为术中比格犬的体位变化导致结果不准。笔者实验发现，拍摄比格犬左髓侧位定位图像拍摄困难，因这个因素导致投照次数增加，用时延长冋。通过算法改进，让从3D到3D体配准精度高于二维配准，减少术前三维空间定位配准时间，通过手术室改造衡量是否可以在手术室进行CT扫描，通过固定NDI 设备和摄像头位置，无影灯调节灯光，手术医生对该系统进行岗前培训，还有进行C型臂的X线数据实时传输到计算机进行匹配结果的验证和反馈，来改进误差对配准结果的影响。
目前研究结果表明，将术前影像和穿刺针实时渲染至术中视频，实现“术中实时可视化”的实验设想可行，可减少穿刺过程的盲目性，降低手术难度。利用深度学习的方法叫结合NDI Polaris光学追踪设备，实现患者空间坐标定位和体表无创定位，所用器材简单、可靠，方便医生在术中使用。实现了股骨头坏死介入手术操作的“精准化”和“可视化”。股骨头坏死介入手术反复置入克氏针、大剂量X线辐 射、学习曲线长等问题可以通过该系统解决。
参考文献
[1]Grassi M,Salari R Mastti D,et al.Treatment of avascular osteonecr
osis of f emoral head by core decompression and platelet-rich plasma:A prospective not controlled stu勿[J].Int Orthop,2020,44(7):1287-1294.
[2]Ma L,FanZ,Ning G,et al.3D visualization and augmented reality
for orthopedics[J].Adv Exp Med Biol,2018,1093:193-205.
⑶谢成，朱成栋，乔高山，等.SuperPATH微创入路人工股骨头置
土地承包经营法换术治疗高龄股骨颈骨折的早期疗效评价[几生物骨科材料与临床研究,2020,17(1):63-66.
[4]张亚峰，王建伟，陈文锦，等.计算机导航下经Wilt入路钉棒
内固定治疗胸腰椎骨折的疗效观察[J].生物骨科材料与临床研究,2018,15(5):27-30.
[5]忻慰，王波，钱齐荣，等.机器人辅助手术在全髓关节置换中的应
用现状及进展[几生物骨科材料与临床研究,2020,17(6):65-70.
[6]徐嘉伟，李楠，杨宝輝等.3D打印导航模板辅助置钉在丿踵寰枢椎
脱位治疗中的应用[J].生物骨科材料与临床研究,2020,17(4):12-15.
[7]Wilson DC,Niosi CA,Zhu QA,et al.Accuracy and repeatability
of a new method for measuring facet loads in the lumbar spine[J].
J Biomech,2006,39(2):348-353.
[8]Hayda RA,Hsu RX Depas JM,et al.Radiation exposure and health
risks for orthopaedic surgeons[J].J Am Acad Orthop Surg,2018, 26(8):268・2力.
[9]Nugent M,Carmody O,Dudeney&Radiation safety knowledge
and practices among Irish orthopaedic trainees[J].Ir J Med Sci, 2015,184(2):369373.
[10]Gausden EB,Christ AB,Zeldin R,et al.Tracking cumulative radiation
exposure in orthopaedic surgeons and residents:What do are we getting?[J].J Bone Joint Surg Am,2017,99(15):1324-1329. [11]Giordano BD,Baumhauer JF,Morgan TL,et al.Patient and sur
geon radiation exposure:Comparison of standard and mini-C-arm fluoroscopy[J].J Bone Joint Surg Am,2009,91(2):297-304. [12]Liu H,Auvinet E,Giles J,et al.Augmented reality bad naviga
tion for computer assisted hip resurfacing:A Proof of Concept Study[J],Ann Biomed Eng,2018,46(10):
1595-1605.
[13]Fritz J,P UT,Ungi T,et al.Augmented reality visualization with
u of i mage overlay technology for MR imaging-guided interventions:Asssment of performance in cadaveric shoulder and hip arthrography at1.5T[J].Radiology,2012,265(1):254-259. [14]Jacofsky DJ,Allen M.Robotics in arthroplasty:A comprehensive
review[J].J Arthroplasty,2016,31(10):2353-2363.
[15]Luo J,Yan YJ,Wang XD,et al.Accuracy and safety of robot-
assisted drilling decompression for osteonecrosis of the femoral head[J],Orthop Surg,2020,12(3):784-791.
[16]Siddiqui MI,Wallace DJ,Salazar LM,et al.Robot-assisted pedicle
screw placement:Learning curve experience[J].World Neurosurg, 2019,130:e417-e422.
[17]Elmi-Terander A,Burstrom G,Nachabe R,et al.Augmented reality
一蹴而就的拼音
navigation with intraoperative3D imaging vs fluoroscopy-assisted free-hand surgery for spine fixation surgery:A matched-control study comparing accuracy[J].Sci Rep,2020,10(1):707.
[18]Ewurum CH,Guo X,Pagnha S,et al.Surgical navigation in ortho
pedics:Workflow and system review[J],Adv Exp Med Biol,201& 1093:47-63.
[19]韩芸峰，杨军.基于Sina的增强现实技术在椎管肿瘤手术定位中
应用的初步探讨[几中华神经外科杂志,2020,36(11):1126-1129.
[20]Fotouhi J,Alexander CP,Unberath M,et al.Plan in2-D,execute in
3-D:An augmented reality solution for cup placement in total hip arthroplasty[J].J Med Imaging(Bellingham),201&5(2):021205.
[21]Jud L,Fotouhi J,Andronic O,et al.Applicability of augmented
reality in orthopedic surgery-A systematic review[J],BMC Musculoskeletal Disorders,2020,21(1):103.
[22]吴玮莹，王豫，李秦，等.Kinect人体运动捕捉误差及其空间分
布[几北京生物医学工程,2014,33(4):344-348.
[23]吴东，刘星宇，张逸凌，等.人工智能辅助全豔关节置换术三维
规划系统的研发及临床应用研究[J].中国修复重建外科杂志, 2020,34(9):10*77-1084.
[24]吴东，柴伟，刘星宇，等.人工智能全髓关节置换术髓臼杯放置印度拉茶
算法的实验研究[几中华骨科杂志,2021,41(3):176-185.
[作者简介]邹昆(1991J男，硕士。研究方向：中西医结合骨科。
引通信作者]王卫国(1971-)男，博士，主任医师。研究方向：髓、膝关节等骨科的临床研究和虚拟现实研究。
(收稿日期=2021-02-23)
