简介一份面向医学影像与深度学习交叉领域从业者的技术文档聚焦癌症放射治疗规划中的三维剂量分布预测与自动治疗方案生成。全文以PyTorch为主线系统讲解剂量预测算法、优化求解、模型训练与调优、实验对比及真实案例适合医学物理师、算法工程师及相关专业研究生参考学习。PDF文件共1个整体大小1.95MB共29页目录支持章节跳转并可在阅读器左侧大纲快速定位。目前已有61人学习内容涵盖PyTorch核心组件、三维剂量分布预测模型架构、强化学习与GAN在放疗优化中的探索以及肺癌、乳腺癌、前列腺癌等应用案例同时讨论数据一致性、模型可解释性、计算资源利用等关键技术要点。资源价值在于从算法原理到实验验证的完整链路梳理能帮助读者建立深度学习放疗规划的整体框架为实际项目或课题研究提供可借鉴的方法与思路。1. 自动放疗中剂量预测和优化算法为什么要绑在一起放疗计划设计里有一个长期存在的矛盾物理师手动调整射野方向和权重耗时一到两个小时而且不同操作者的计划质量有差别。自动计划的一种流行做法是先让神经网络预测出每个体素应该吸收的剂量再用优化算法把这个预测值翻译成机器能执行的射束参数。这里的关键点在于剂量预测只是前半程后半程要把预测结果映射到实际加速器参数上否则模型再准也进不了临床。这篇文章讲一套基于 PyTorch 的落地路径覆盖数据预处理、三维剂量分布预测、优化算法结合、训练调参与验证环节适合已经用过 PyTorch、但对医学图像不太熟悉的工程师也适合做放疗软件选型的人。2. 先解决数据把 CT、靶区、危及器官整理成三维张量2.1 输入通道怎么设计三维剂量预测不是单张图像的活。输入通常是胸部或盆腔的 CT 序列输出是覆盖同一解剖区域的三维剂量矩阵。医疗场景下的常见做法是把一个患者的 DICOM 序列全部加载进来统一插值到同一个坐标系上。体素间距一般选 1.5 mm 到 3 mm间距太细显存放不下太粗又会让剂量梯度附近的信息失真。通道设计上我一般用四到六个通道一个 CT 通道一个或几个靶区掩膜一到多个危及器官掩膜。各通道用独立的 0/1 掩膜表示网络更容易学到靶区和器官之间的相对位置。CT 值先做窗宽窗位裁剪再线性映射到 0 到 1避免离群的金属伪影或体外空气值把输入范围拉得过宽。2.2 标签参考计划的三维剂量训练标签是从治疗计划系统导出、经过临床确认的参考计划。预测模型学的是档案数据里人做过的计划决策所以标签质量直接决定模型上限。同一个患者如果有多套历史计划优先选临床已采用且 DVH 满足约束的那一套而不是实验性的测试计划。剂量字段通常以 Gy 为单位不同患者的处方剂量不同。我会先把剂量除以处方剂量再乘 100让标签落在 0 到 120 的区间里这样回归目标不会因为体素位置不同而出现数量级差距。推理完成后乘回处方剂量即可。用这个归一化不同处方剂量的病例可以混在一个训练集里不用按处方值单独建模。2.3 裁剪、归一化与重采样参数表参数推荐值说明体素间距2.0 mm 或 2.5 mm间距越小越精细显存消耗近似立方增长CT 窗宽窗位[-1000, 300] HU覆盖空气到骨范围金属伪影会被截断剂量归一化除以处方剂量再乘 100统一不同处方病例的回归目标靶区掩膜0/1 体素掩膜可区分 PTV 与 CTV 时单独成通道危及器官掩膜每器官一个通道最多合并不超过 5 个通道随机裁剪128×128×128配合 patch 训练使用随机翻转仅左右与前后不做旋转或只做小角度旋转重采样要把 CT、结构掩膜、剂量场三者的网格对齐。常见的做法是取 CT 的网格为基准把结构掩膜和剂量场都插值到同一网格上。掩膜插值要用最近邻剂量和 CT 用线性插值。顺序不能反不然靶区边界会被抹掉一层。2.4 数据增强与配准失败的应对医学影像里的数据增强比自然图像保守得多。随机翻转可以做左右和前后但旋转要谨慎解剖结构的方向性有临床意义旋转超过 5 度很容易让靶区边缘剂量失真。缩放也尽量只在 0.95 到 1.05 之间缩放后要重新检查掩膜边界是否还对得上。配准失败是常见问题。CT 和结构掩膜经常来自不同系统坐标原点、方向、体素间距都可能不一致。处理方法是先对比两者 Origin 与 Direction不一致时先把结构掩膜转成参考坐标系下的三维体数据再和 CT 一起裁剪。不要直接用网格坐标做 patch 裁剪坐标差一个方向标记就会导致掩膜整体移位。3. 三维剂量预测网络PyTorch 里的网络、损失与训练设置3.1 选 3D U-Net 而不是更大体量的注意力模型三维医学图像的单个体量大常见尺寸为 512×512×200 体素直接上全局注意力会迅速耗尽显存。3D U-Net 的结构先下采样再上采样约束在低分辨率层做显存占用相对可控精度也够用。如果团队有精力做 Transformer一般也只把 Transformer 块放在最底层 16 倍下采样处编码器前几层仍用卷积。骨干网络我通常用四层编码器每层两个 3D 卷积第二层开始加残差连接。解码器侧通过跳跃连接把对应层特征拼回来。最后一层可以用 1×1×1 卷积把通道压到输出数量。输出层的激活需要注意如果直接输出绝对值ReLU 能保证非负如果输出残差剂量则要把输入通道里的 CT 或参考剂量加回去。实践中直接预测绝对剂量更省事最后的 ReLU 防止负剂量出现。3.2 损失函数MAE 做底加权掩膜照顾靶区剂量预测本质是回归问题。L2 对离群点敏感某个体素的极端误差会把梯度拉偏L1 更可靠。我会把 MAE 作为基础损失再叠加一个剂量梯度惩罚项让预测剂量在靶区和危及器官边缘不至于出现突兀跳跃。Combined loss 定义如下import torch import torch.nn as nn import torch.nn.functional as F class DoseLoss(nn.Module): def __init__(self, target_weight5.0, grad_weight0.1): super().__init__() self.target_weight target_weight self.grad_weight grad_weight def forward(self, pred, target, target_mask): pred torch.clamp(pred, min0.0) base F.l1_loss(pred, target, reductionnone) # 靶区内的误差权重设高防止临床关键区域被平均误差掩盖 weighted base * (1.0 self.target_weight * target_mask) voxel_loss weighted.mean() # Sobel 式梯度近似约束剂量在空间上的平顺性 gx torch.abs(pred[..., 1:, :, :] - pred[..., :-1, :, :]).mean() gy torch.abs(pred[..., :, 1:, :] - pred[..., :, :-1, :]).mean() gz torch.abs(pred[..., :, :, 1:] - pred[..., :, :, :-1]).mean() grad_loss (gx gy gz) / 3.0 return voxel_loss self.grad_weight * grad_loss代码先做了一次clamp目的有两个一是保证预测剂量非负二是避免梯度穿过负区间造成不必要的反向传播噪声。target_mask是靶区体素掩膜靶区内的 MAE 会被放大 5 倍。梯度惩罚项用的是相邻体素差值的平均横向、纵向、层间各取一次再求平均。这样靶区边缘的突变会被抑制但不会像 TV 损失那样整体剂量场都被磨平。DVH 约束是另一个可以加的点。剂量体积直方图本质上是统计每个器官内超过阈值剂量的体积占比直接把它写成可微函数不现实。常见的替代方案是用 Sigmoid 近似阈值再对每个器官单独计算平滑后的超剂量体积比例。这个惩罚项计算量大收效不稳定建议先跑通无 DVH 惩罚的版本再看验证集结果决定要不要加。3.3 Patch 训练与显存控制单个患者的体数据放不进显存训练时要随机裁剪成 patch。推荐 patch 尺寸为 128×128×128batch size 设为 1。这个组合下4 通道输入、32 初始通道数的 3D U-Net 在 16 GB 显存上能跑。训练用混合精度PyTorch 的torch.autocast和GradScaler组合即可scaler torch.cuda.amp.GradScaler() for batch in dataloader: ct, masks, dose [b.cuda() for b in batch] with torch.autocast(device_typecuda, dtypetorch.float16): pred model(ct, masks) loss criterion(pred, dose, masks[:, 0:1]) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()推理阶段要把路径反过来用滑窗把整个患者切成重叠 patch逐块推理结果按重叠区域取平均。滑窗步长设为 patch 尺寸的一半即 64 体素。这个设置下拼接痕迹基本看不见。autocast里有几个细节要注意模型里的 BatchNorm 层在 fp16 下统计均值方差可能会有偏差BatchNorm 参数可以单独用torch.promote转回 fp32更省事的做法是干脆用 GroupNorm 或 InstanceNorm 替代 BatchNorm这样 patch 大小变化和混合精度都不影响归一化表现。4. 把预测剂量变成自动治疗方案可微优化与射束参数求解4.1 从剂量分布到射野权重优化建模预测得到的还只是三维剂量分布加速器不能直接按这个矩阵出束。它要把剂量分布转成一系列射野方向和射野权重再分解成多叶准直器可以执行的叶片位置序列。基础模型可以写成d P w其中d是体素剂量向量P是影响矩阵表示每个射束元对每个体素沉积的剂量贡献w是各射束元的权重。P的规模通常很大一个射野几十万个射束元每个射束元对应上百万个体素需要按稀疏矩阵存储。PyTorch 的torch.sparse_coo_tensor可以直接承载这种结构。优化目标是让P w尽量接近网络预测的剂量d_pred同时满足靶区剂量约束和危及器官限量。常见写法min 0.5 * || P w - d_pred ||^2 s.t. w 0靶区均匀性约束可以写成线性不等式也可以作为惩罚项放进目标函数。如果惩罚项写成ReLU(PTV_dose - threshold)梯度只在超阈值的地方回传正好对应临床上“靶区最高剂量不能超过某个值”的说法。4.2 用 autograd 在 GPU 上求解非负权重P w这个表达式本身是可微的所以可以直接用梯度下降求解而不需要调用第三方优化库。这时能利用 PyTorch autograd 对一个中间变量做迭代更新import torch # P: sparse tensor, shape (N_voxel, N_beamlet) # d_pred: predicted dose from network, shape (N_voxel,) P load_influence_matrix().cuda() d_pred run_prediction().reshape(-1).cuda() w torch.zeros(P.shape[1], devicecuda, requires_gradTrue) optimizer torch.optim.Adam([w], lr1e-2) for step in range(200): optimizer.zero_grad() dose torch.sparse.mm(P, w) loss 0.5 * torch.mean((dose - d_pred) ** 2) loss.backward() optimizer.step() with torch.no_grad(): w.clamp_(min0.0) # 投影到非负空间 final_weight w.detach().cpu().numpy()这段代码先取稀疏影响矩阵和预测剂量结果用 Adam 迭代 200 步。loss是预测剂量与当前权重解产生的剂量之间的均方误差。每次权重更新后立即做一次clamp_把负权重拉回 0等价于在梯度下降外面套一个非负投影。这个交替做法简单可靠200 步的耗时在 GPU 上通常几秒到十几秒。如果想更严格地满足线性约束可以换成带约束的 LBFGS但调参复杂度会明显上升对于方案预筛选阶段没有太大必要。4.3 从连续权重到 MLC 叶序列优化出来的w是每个射束元的连续权重机器上还不能直接执行因为多叶准直器的叶片是离散的运动轨迹。叶序列生成是一个两层问题先把连续权重图按阈值二值化再用叶片覆盖高权重的区域。贪婪分段是落地时最常用的方案。每个射野的权重图按层切片对每一层按行扫描连续正权重段合并成一个叶片段。权重大小决定该段出束时间。这里有一个容易犯的错误直接在二维权重图上做形态学腐蚀会把小权重散点也保留下来最后叶片段数量爆炸。实际做法是加一个相对权重阈值比如只保留最大权重的 30% 以上区域再用连通域合并import numpy as np def leaf_segment(fluence_map, threshold_ratio0.3): thresh np.percentile(fluence_map, 100 * (1 - threshold_ratio)) binary (fluence_map thresh).astype(np.uint8) segments [] for row in range(binary.shape[1]): on np.where(binary[:, row] 1)[0] if len(on) 0: continue borders np.where(np.diff(on) 1)[0] index np.split(on, borders 1) for seg in index: if len(seg) 0: segments.append((row, seg[0], seg[-1])) return merge_by_connectivity(segments)这段代码先把权重图转成二值按行扫描找出连续激活区间最后用四邻域连通性把相邻行合并成完整叶片段。合并标准是两个段在相邻行上有重叠且中心距离不超过叶片宽度。合并后得到的叶片序列直接写入 DICOM RT Plan再拿到治疗计划系统里重新计算最终剂量。预测剂量、优化权重和叶片分解之间会累积误差所以最终剂量必须由 TPS 重新计算而不是用网络预测结果代替。5. 训练与调参显存、学习率、收敛判断怎么做5.1 学习率与 batch size 的搭配三维剂量预测模型的 batch size 受限于显存通常只有 1 或 2。这个规模下 Adam 的默认学习率 1e-3 偏大我一般从 1e-4 起步验证集 loss 不降时再按 0.5 倍衰减。训练后期可以换到余弦退火但总 epoch 少于 60 时两种方案差别不大。batch size 小的时候BatchNorm 的统计量会来回摆动这是训练不平稳的主要来源。推荐做法是把网络里的 BatchNorm 全部替换成 GroupNorm组数设为 8。GroupNorm 不依赖 batch 维度输入 patch 大小不变时表现一直平稳。使用 GroupNorm 后batch size 从 1 涨到 2 时训练 loss 曲线不会出现明显跳变。5.2 显存开销的边界与降级方案128³ patch、4 通道输入、32 初始通道的 3D U-Net 在 16 GB 显存上训练混合精度打开后占用约 12 GB 到 14 GB。如果显存不足有两个降级方向把 patch 从 128 减到 96显存大约降到原来的四成不过靶区上下文的视野会变小或者在编码器第二层之后把标准 3D 卷积替换成通道分离卷积参数和激活值都能降一截。autocast只对 CUDA 上的算子生效CPU 上要做推理时需要手动把权重转成 fp32否则某些 CPU 算子不支持 fp16。这个问题在模型导出和上线阶段很常见建议在权重保存时统一用 fp32只在训练过程中用混合精度。5.3 怎么看模型收敛了训练损失降到低位不代表模型可用因为 MAE 低可能只是整体体素多、空腔区域容易预测。验证阶段要分开统计靶区、危及器官和全身的 MAE还必须把预测剂量转成 DVH 来观察临床指标。DVH 是把每个器官内剂量超过某个阈值的体积比画成曲线一个实用的验证脚本是def evaluate_dose(pred, dose_ref, ptv, bins200): errors { mae_all: float(torch.abs(pred - dose_ref).mean()), mae_ptv: float(torch.abs(pred - dose_ref)[ptv 0].mean()), d1_ptv: float(torch.quantile(pred[ptv 0], 0.99)), } # D98 是靶区 98% 体积接受的最低剂量按 DVH 定义计算 return errors验证集上的关键看三个数整体 MAE、靶区 MAE、靶区 D98 与参考计划 D98 的差。如果整体 MAE 很低但靶区 D98 差很大说明模型在靶区边缘的剂量下降位置没学准需要回到损失函数里把靶区权重再调大。训练到中期还要按治疗部位分层观察同一个模型覆盖胸腔和盆腔时某一类部位的误差偏高很常见这往往不是模型坏了而是数据里该部位的样本太少单独检查每个部位的 DVH 比只看整体 loss 更有参考价值。6. 验证自动方案的最后一关DVH 与伽马分析6.1 需要盯住的剂量学指标指标含义验证重点MAE预测剂量与参考剂量的平均绝对误差全身与靶区分别统计D98靶区 98% 体积接受的最低剂量偏低说明可能有低剂量冷点D2靶区 2% 体积接受的剂量偏高提示靶区内有热点V20 / V30危及器官接受 20/30 Gy 的体积比例肺、肝、肾等器官各有对应阈值伽马通过率剂量分布与位置误差的综合指标3 mm / 3% 标准下应接近机构历史基线这些指标不能只看一次预测的平均值要按病例部位、处方剂量分层展示。方案筛选阶段用 MAE 和 DVH 做粗筛正式入库前再用伽马分析做一次全分布的比较。伽马分析需要把预测剂量和 TPS 重算剂量放在同一网格下逐体素比对计算量大不适合在训练循环里频繁调用。6.2 把预测方案放回 TPS 里重算网络预测、权重优化和叶片分解三步累积下来最终剂量和预测值之间一定存在偏差。正确流程是把自动生成的 DICOM RT Plan 导入治疗计划系统用系统自带的剂量计算引擎重新计算再把重算结果与参考计划比较 DVH。如果重算后的 D98 比预测低了 2 Gy 以上优先检查叶片合并逻辑可能是权重图在分解时丢失了低权重但覆盖关键靶区的边缘区域。还有一个医院环境里很常见的坑DICOM 剂量单位有些系统写 Gy有些写 cGy两者差 100 倍。重算前先确认单位否则 DVH 曲线会出现整体平移。预测阶段用过的归一化参数要在导出 RT Plan 时完全还原处方剂量值和体素网格的间距只要错一位TPS 对同一份计划的解译就会完全不同。用一例历史病例做端到端回归测试每次改动预处理或后处理代码后都跑一遍比在临床数据上反复调参更省时间。本文还有配套的精品资源点击获取 PyTorch实现放疗剂量预测与优化算法：自动计划落地方案
简介一份面向医学影像与深度学习交叉领域从业者的技术文档聚焦癌症放射治疗规划中的三维剂量分布预测与自动治疗方案生成。全文以PyTorch为主线系统讲解剂量预测算法、优化求解、模型训练与调优、实验对比及真实案例适合医学物理师、算法工程师及相关专业研究生参考学习。PDF文件共1个整体大小1.95MB共29页目录支持章节跳转并可在阅读器左侧大纲快速定位。目前已有61人学习内容涵盖PyTorch核心组件、三维剂量分布预测模型架构、强化学习与GAN在放疗优化中的探索以及肺癌、乳腺癌、前列腺癌等应用案例同时讨论数据一致性、模型可解释性、计算资源利用等关键技术要点。资源价值在于从算法原理到实验验证的完整链路梳理能帮助读者建立深度学习放疗规划的整体框架为实际项目或课题研究提供可借鉴的方法与思路。1. 自动放疗中剂量预测和优化算法为什么要绑在一起放疗计划设计里有一个长期存在的矛盾物理师手动调整射野方向和权重耗时一到两个小时而且不同操作者的计划质量有差别。自动计划的一种流行做法是先让神经网络预测出每个体素应该吸收的剂量再用优化算法把这个预测值翻译成机器能执行的射束参数。这里的关键点在于剂量预测只是前半程后半程要把预测结果映射到实际加速器参数上否则模型再准也进不了临床。这篇文章讲一套基于 PyTorch 的落地路径覆盖数据预处理、三维剂量分布预测、优化算法结合、训练调参与验证环节适合已经用过 PyTorch、但对医学图像不太熟悉的工程师也适合做放疗软件选型的人。2. 先解决数据把 CT、靶区、危及器官整理成三维张量2.1 输入通道怎么设计三维剂量预测不是单张图像的活。输入通常是胸部或盆腔的 CT 序列输出是覆盖同一解剖区域的三维剂量矩阵。医疗场景下的常见做法是把一个患者的 DICOM 序列全部加载进来统一插值到同一个坐标系上。体素间距一般选 1.5 mm 到 3 mm间距太细显存放不下太粗又会让剂量梯度附近的信息失真。通道设计上我一般用四到六个通道一个 CT 通道一个或几个靶区掩膜一到多个危及器官掩膜。各通道用独立的 0/1 掩膜表示网络更容易学到靶区和器官之间的相对位置。CT 值先做窗宽窗位裁剪再线性映射到 0 到 1避免离群的金属伪影或体外空气值把输入范围拉得过宽。2.2 标签参考计划的三维剂量训练标签是从治疗计划系统导出、经过临床确认的参考计划。预测模型学的是档案数据里人做过的计划决策所以标签质量直接决定模型上限。同一个患者如果有多套历史计划优先选临床已采用且 DVH 满足约束的那一套而不是实验性的测试计划。剂量字段通常以 Gy 为单位不同患者的处方剂量不同。我会先把剂量除以处方剂量再乘 100让标签落在 0 到 120 的区间里这样回归目标不会因为体素位置不同而出现数量级差距。推理完成后乘回处方剂量即可。用这个归一化不同处方剂量的病例可以混在一个训练集里不用按处方值单独建模。2.3 裁剪、归一化与重采样参数表参数推荐值说明体素间距2.0 mm 或 2.5 mm间距越小越精细显存消耗近似立方增长CT 窗宽窗位[-1000, 300] HU覆盖空气到骨范围金属伪影会被截断剂量归一化除以处方剂量再乘 100统一不同处方病例的回归目标靶区掩膜0/1 体素掩膜可区分 PTV 与 CTV 时单独成通道危及器官掩膜每器官一个通道最多合并不超过 5 个通道随机裁剪128×128×128配合 patch 训练使用随机翻转仅左右与前后不做旋转或只做小角度旋转重采样要把 CT、结构掩膜、剂量场三者的网格对齐。常见的做法是取 CT 的网格为基准把结构掩膜和剂量场都插值到同一网格上。掩膜插值要用最近邻剂量和 CT 用线性插值。顺序不能反不然靶区边界会被抹掉一层。2.4 数据增强与配准失败的应对医学影像里的数据增强比自然图像保守得多。随机翻转可以做左右和前后但旋转要谨慎解剖结构的方向性有临床意义旋转超过 5 度很容易让靶区边缘剂量失真。缩放也尽量只在 0.95 到 1.05 之间缩放后要重新检查掩膜边界是否还对得上。配准失败是常见问题。CT 和结构掩膜经常来自不同系统坐标原点、方向、体素间距都可能不一致。处理方法是先对比两者 Origin 与 Direction不一致时先把结构掩膜转成参考坐标系下的三维体数据再和 CT 一起裁剪。不要直接用网格坐标做 patch 裁剪坐标差一个方向标记就会导致掩膜整体移位。3. 三维剂量预测网络PyTorch 里的网络、损失与训练设置3.1 选 3D U-Net 而不是更大体量的注意力模型三维医学图像的单个体量大常见尺寸为 512×512×200 体素直接上全局注意力会迅速耗尽显存。3D U-Net 的结构先下采样再上采样约束在低分辨率层做显存占用相对可控精度也够用。如果团队有精力做 Transformer一般也只把 Transformer 块放在最底层 16 倍下采样处编码器前几层仍用卷积。骨干网络我通常用四层编码器每层两个 3D 卷积第二层开始加残差连接。解码器侧通过跳跃连接把对应层特征拼回来。最后一层可以用 1×1×1 卷积把通道压到输出数量。输出层的激活需要注意如果直接输出绝对值ReLU 能保证非负如果输出残差剂量则要把输入通道里的 CT 或参考剂量加回去。实践中直接预测绝对剂量更省事最后的 ReLU 防止负剂量出现。3.2 损失函数MAE 做底加权掩膜照顾靶区剂量预测本质是回归问题。L2 对离群点敏感某个体素的极端误差会把梯度拉偏L1 更可靠。我会把 MAE 作为基础损失再叠加一个剂量梯度惩罚项让预测剂量在靶区和危及器官边缘不至于出现突兀跳跃。Combined loss 定义如下import torch import torch.nn as nn import torch.nn.functional as F class DoseLoss(nn.Module): def __init__(self, target_weight5.0, grad_weight0.1): super().__init__() self.target_weight target_weight self.grad_weight grad_weight def forward(self, pred, target, target_mask): pred torch.clamp(pred, min0.0) base F.l1_loss(pred, target, reductionnone) # 靶区内的误差权重设高防止临床关键区域被平均误差掩盖 weighted base * (1.0 self.target_weight * target_mask) voxel_loss weighted.mean() # Sobel 式梯度近似约束剂量在空间上的平顺性 gx torch.abs(pred[..., 1:, :, :] - pred[..., :-1, :, :]).mean() gy torch.abs(pred[..., :, 1:, :] - pred[..., :, :-1, :]).mean() gz torch.abs(pred[..., :, :, 1:] - pred[..., :, :, :-1]).mean() grad_loss (gx gy gz) / 3.0 return voxel_loss self.grad_weight * grad_loss代码先做了一次clamp目的有两个一是保证预测剂量非负二是避免梯度穿过负区间造成不必要的反向传播噪声。target_mask是靶区体素掩膜靶区内的 MAE 会被放大 5 倍。梯度惩罚项用的是相邻体素差值的平均横向、纵向、层间各取一次再求平均。这样靶区边缘的突变会被抑制但不会像 TV 损失那样整体剂量场都被磨平。DVH 约束是另一个可以加的点。剂量体积直方图本质上是统计每个器官内超过阈值剂量的体积占比直接把它写成可微函数不现实。常见的替代方案是用 Sigmoid 近似阈值再对每个器官单独计算平滑后的超剂量体积比例。这个惩罚项计算量大收效不稳定建议先跑通无 DVH 惩罚的版本再看验证集结果决定要不要加。3.3 Patch 训练与显存控制单个患者的体数据放不进显存训练时要随机裁剪成 patch。推荐 patch 尺寸为 128×128×128batch size 设为 1。这个组合下4 通道输入、32 初始通道数的 3D U-Net 在 16 GB 显存上能跑。训练用混合精度PyTorch 的torch.autocast和GradScaler组合即可scaler torch.cuda.amp.GradScaler() for batch in dataloader: ct, masks, dose [b.cuda() for b in batch] with torch.autocast(device_typecuda, dtypetorch.float16): pred model(ct, masks) loss criterion(pred, dose, masks[:, 0:1]) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()推理阶段要把路径反过来用滑窗把整个患者切成重叠 patch逐块推理结果按重叠区域取平均。滑窗步长设为 patch 尺寸的一半即 64 体素。这个设置下拼接痕迹基本看不见。autocast里有几个细节要注意模型里的 BatchNorm 层在 fp16 下统计均值方差可能会有偏差BatchNorm 参数可以单独用torch.promote转回 fp32更省事的做法是干脆用 GroupNorm 或 InstanceNorm 替代 BatchNorm这样 patch 大小变化和混合精度都不影响归一化表现。4. 把预测剂量变成自动治疗方案可微优化与射束参数求解4.1 从剂量分布到射野权重优化建模预测得到的还只是三维剂量分布加速器不能直接按这个矩阵出束。它要把剂量分布转成一系列射野方向和射野权重再分解成多叶准直器可以执行的叶片位置序列。基础模型可以写成d P w其中d是体素剂量向量P是影响矩阵表示每个射束元对每个体素沉积的剂量贡献w是各射束元的权重。P的规模通常很大一个射野几十万个射束元每个射束元对应上百万个体素需要按稀疏矩阵存储。PyTorch 的torch.sparse_coo_tensor可以直接承载这种结构。优化目标是让P w尽量接近网络预测的剂量d_pred同时满足靶区剂量约束和危及器官限量。常见写法min 0.5 * || P w - d_pred ||^2 s.t. w 0靶区均匀性约束可以写成线性不等式也可以作为惩罚项放进目标函数。如果惩罚项写成ReLU(PTV_dose - threshold)梯度只在超阈值的地方回传正好对应临床上“靶区最高剂量不能超过某个值”的说法。4.2 用 autograd 在 GPU 上求解非负权重P w这个表达式本身是可微的所以可以直接用梯度下降求解而不需要调用第三方优化库。这时能利用 PyTorch autograd 对一个中间变量做迭代更新import torch # P: sparse tensor, shape (N_voxel, N_beamlet) # d_pred: predicted dose from network, shape (N_voxel,) P load_influence_matrix().cuda() d_pred run_prediction().reshape(-1).cuda() w torch.zeros(P.shape[1], devicecuda, requires_gradTrue) optimizer torch.optim.Adam([w], lr1e-2) for step in range(200): optimizer.zero_grad() dose torch.sparse.mm(P, w) loss 0.5 * torch.mean((dose - d_pred) ** 2) loss.backward() optimizer.step() with torch.no_grad(): w.clamp_(min0.0) # 投影到非负空间 final_weight w.detach().cpu().numpy()这段代码先取稀疏影响矩阵和预测剂量结果用 Adam 迭代 200 步。loss是预测剂量与当前权重解产生的剂量之间的均方误差。每次权重更新后立即做一次clamp_把负权重拉回 0等价于在梯度下降外面套一个非负投影。这个交替做法简单可靠200 步的耗时在 GPU 上通常几秒到十几秒。如果想更严格地满足线性约束可以换成带约束的 LBFGS但调参复杂度会明显上升对于方案预筛选阶段没有太大必要。4.3 从连续权重到 MLC 叶序列优化出来的w是每个射束元的连续权重机器上还不能直接执行因为多叶准直器的叶片是离散的运动轨迹。叶序列生成是一个两层问题先把连续权重图按阈值二值化再用叶片覆盖高权重的区域。贪婪分段是落地时最常用的方案。每个射野的权重图按层切片对每一层按行扫描连续正权重段合并成一个叶片段。权重大小决定该段出束时间。这里有一个容易犯的错误直接在二维权重图上做形态学腐蚀会把小权重散点也保留下来最后叶片段数量爆炸。实际做法是加一个相对权重阈值比如只保留最大权重的 30% 以上区域再用连通域合并import numpy as np def leaf_segment(fluence_map, threshold_ratio0.3): thresh np.percentile(fluence_map, 100 * (1 - threshold_ratio)) binary (fluence_map thresh).astype(np.uint8) segments [] for row in range(binary.shape[1]): on np.where(binary[:, row] 1)[0] if len(on) 0: continue borders np.where(np.diff(on) 1)[0] index np.split(on, borders 1) for seg in index: if len(seg) 0: segments.append((row, seg[0], seg[-1])) return merge_by_connectivity(segments)这段代码先把权重图转成二值按行扫描找出连续激活区间最后用四邻域连通性把相邻行合并成完整叶片段。合并标准是两个段在相邻行上有重叠且中心距离不超过叶片宽度。合并后得到的叶片序列直接写入 DICOM RT Plan再拿到治疗计划系统里重新计算最终剂量。预测剂量、优化权重和叶片分解之间会累积误差所以最终剂量必须由 TPS 重新计算而不是用网络预测结果代替。5. 训练与调参显存、学习率、收敛判断怎么做5.1 学习率与 batch size 的搭配三维剂量预测模型的 batch size 受限于显存通常只有 1 或 2。这个规模下 Adam 的默认学习率 1e-3 偏大我一般从 1e-4 起步验证集 loss 不降时再按 0.5 倍衰减。训练后期可以换到余弦退火但总 epoch 少于 60 时两种方案差别不大。batch size 小的时候BatchNorm 的统计量会来回摆动这是训练不平稳的主要来源。推荐做法是把网络里的 BatchNorm 全部替换成 GroupNorm组数设为 8。GroupNorm 不依赖 batch 维度输入 patch 大小不变时表现一直平稳。使用 GroupNorm 后batch size 从 1 涨到 2 时训练 loss 曲线不会出现明显跳变。5.2 显存开销的边界与降级方案128³ patch、4 通道输入、32 初始通道的 3D U-Net 在 16 GB 显存上训练混合精度打开后占用约 12 GB 到 14 GB。如果显存不足有两个降级方向把 patch 从 128 减到 96显存大约降到原来的四成不过靶区上下文的视野会变小或者在编码器第二层之后把标准 3D 卷积替换成通道分离卷积参数和激活值都能降一截。autocast只对 CUDA 上的算子生效CPU 上要做推理时需要手动把权重转成 fp32否则某些 CPU 算子不支持 fp16。这个问题在模型导出和上线阶段很常见建议在权重保存时统一用 fp32只在训练过程中用混合精度。5.3 怎么看模型收敛了训练损失降到低位不代表模型可用因为 MAE 低可能只是整体体素多、空腔区域容易预测。验证阶段要分开统计靶区、危及器官和全身的 MAE还必须把预测剂量转成 DVH 来观察临床指标。DVH 是把每个器官内剂量超过某个阈值的体积比画成曲线一个实用的验证脚本是def evaluate_dose(pred, dose_ref, ptv, bins200): errors { mae_all: float(torch.abs(pred - dose_ref).mean()), mae_ptv: float(torch.abs(pred - dose_ref)[ptv 0].mean()), d1_ptv: float(torch.quantile(pred[ptv 0], 0.99)), } # D98 是靶区 98% 体积接受的最低剂量按 DVH 定义计算 return errors验证集上的关键看三个数整体 MAE、靶区 MAE、靶区 D98 与参考计划 D98 的差。如果整体 MAE 很低但靶区 D98 差很大说明模型在靶区边缘的剂量下降位置没学准需要回到损失函数里把靶区权重再调大。训练到中期还要按治疗部位分层观察同一个模型覆盖胸腔和盆腔时某一类部位的误差偏高很常见这往往不是模型坏了而是数据里该部位的样本太少单独检查每个部位的 DVH 比只看整体 loss 更有参考价值。6. 验证自动方案的最后一关DVH 与伽马分析6.1 需要盯住的剂量学指标指标含义验证重点MAE预测剂量与参考剂量的平均绝对误差全身与靶区分别统计D98靶区 98% 体积接受的最低剂量偏低说明可能有低剂量冷点D2靶区 2% 体积接受的剂量偏高提示靶区内有热点V20 / V30危及器官接受 20/30 Gy 的体积比例肺、肝、肾等器官各有对应阈值伽马通过率剂量分布与位置误差的综合指标3 mm / 3% 标准下应接近机构历史基线这些指标不能只看一次预测的平均值要按病例部位、处方剂量分层展示。方案筛选阶段用 MAE 和 DVH 做粗筛正式入库前再用伽马分析做一次全分布的比较。伽马分析需要把预测剂量和 TPS 重算剂量放在同一网格下逐体素比对计算量大不适合在训练循环里频繁调用。6.2 把预测方案放回 TPS 里重算网络预测、权重优化和叶片分解三步累积下来最终剂量和预测值之间一定存在偏差。正确流程是把自动生成的 DICOM RT Plan 导入治疗计划系统用系统自带的剂量计算引擎重新计算再把重算结果与参考计划比较 DVH。如果重算后的 D98 比预测低了 2 Gy 以上优先检查叶片合并逻辑可能是权重图在分解时丢失了低权重但覆盖关键靶区的边缘区域。还有一个医院环境里很常见的坑DICOM 剂量单位有些系统写 Gy有些写 cGy两者差 100 倍。重算前先确认单位否则 DVH 曲线会出现整体平移。预测阶段用过的归一化参数要在导出 RT Plan 时完全还原处方剂量值和体素网格的间距只要错一位TPS 对同一份计划的解译就会完全不同。用一例历史病例做端到端回归测试每次改动预处理或后处理代码后都跑一遍比在临床数据上反复调参更省时间。本文还有配套的精品资源点击获取