[Paper] 基于2D/3D配准损失的盆腔透视增强标志点检测模型

发布: 1周前 (2025年11月27日 GMT+8 00:50)

6 min read

原文: arXiv

Source: arXiv - 2511.21575v1

概览

本文解决了计算机辅助骨科手术中的一个实际难题：在 X 光视角未完全对齐的情况下，自动在骨盆透视图中寻找解剖标志点。通过在经典的 U‑Net 检测器中加入 2D/3D 配准损失，作者展示了即使患者或 C‑arm 发生旋转，标志点的准确性仍能保持高水平——而当前模型在这方面表现不佳。

混合训练损失：引入一种 姿态估计损失（Pose‑Estimation Loss），惩罚预测的 2D 标志点与其 3D 对应点投影到图像平面后的不一致性。
鲁棒的 U‑Net 流程：在标准 U‑Net 标志点预测器上加入新损失，使模型能够适应任意骨盆方向。
全面评估：在模拟的术中姿态变化下，对三种设置进行基准测试——基线 U‑Net、从零开始使用姿态损失的 U‑Net、以及使用姿态损失微调的 U‑Net。
开源潜力：提供了足够的实现细节（损失公式、数据增强、配准流程），便于复现并集成到现有的手术导航系统中。

数据准备
- 将 3‑D 骨盆 CT 扫描与覆盖广泛旋转范围（俯仰、偏航、滚转 ±30°）的合成 2‑D 透视投影配对。
- 已知真实的 3‑D 标志点坐标；其 2‑D 投影作为训练目标。
基础模型
- 一个普通的 U‑Net 接收单帧透视图，输出每个标志点的热图。
姿态估计损失
- 在 U‑Net 预测热图后，提取峰值位置。
- 使用已知的成像几何，将这些 2‑D 点反投影到 3‑D 空间，得到估计的 3‑D 姿态。
- 损失由以下两部分组合而成：
  - 热图回归损失（预测热图与真实热图的 L2）
  - 配准损失（在当前姿态下，估计的 3‑D 标志点与真实 3‑D 标志点之间的 L2）
- 配准项迫使网络学习姿态不变的特征，因为任何 3‑D 空间的偏差都会被直接惩罚。
训练方案
- 基线：仅使用热图损失训练 U‑Net。
- 从零开始的姿态模型：相同结构，但从第 0 轮起使用组合损失。
- 姿态微调：在基线模型上再使用组合损失训练若干轮。
评估
- 在随机姿态的留出测试集上计算预测与真实 2‑D 标志点之间的平均欧氏距离（MED）。
- 在临床相关的误差阈值（≤ 2 mm）下的成功率。

Model	MED (mm)	% ≤ 2 mm
Baseline U‑Net	3.9	68%
U‑Net + Pose‑Loss (scratch)	2.7	81%
U‑Net fine‑tuned with Pose‑Loss	2.5	84%