假患者，真实测试：像专业人士一样生成符合HIPAA的合规数据

Source: Dev.to

介绍

嗨，亲爱的开发者和 QA 大师们！👋

有没有尝试过在你的全新医疗应用或系统上进行测试？当你想在预演或开发环境中使用真实的患者数据时，往往会碰到一个响亮的 “NOPE!”。这完全有道理！HIPAA 合规可不是闹着玩的，真实的患者数据在这些环境里简直是放射性的——风险太大，匿名化工作也非常繁琐。

那么，当团队需要真实感的数据来在上线前排查问题时该怎么办呢？我们就要合成患者。但这并不是随便生成一些名字和出生日期那么简单。我们需要既在统计上有效，又能保持真实医疗数据集中错综复杂关系的数据。让我们一起深入探讨创建这些数字分身的算法舞步吧。

问题：真实数据不可用，合成数据必须好

想象一下医院的数据库。它不仅仅是一张包含患者姓名的表。你还有：

• Patients – 人口统计信息，联系信息。
• Encounters – 就诊详情，日期，原因。
• Diagnoses – ICD 编码，严重程度。
• Medications – 处方，剂量，日期。
• Labs – 检验结果，单位，数值。

所有这些都是相互关联的！一个特定的诊断可能关联到某次就诊，而该就诊涉及到某位患者，该患者又被开具了特定的药物并拥有相应的实验室检查结果。

如果你的合成数据生成仅仅创建相互独立的假患者、假诊断和假药物集合，你的测试很可能会遗漏与这些关系相关的关键缺陷。你的应用可能在孤立数据下运行良好，但在尝试将患者与其完整的病史关联时就会崩溃。

Source: …

算法挑战：统计有效性与关系完整性

这正是 “工程化” 在 工程化真实测试数据 中真正发挥作用的地方。我们需要生成能够模拟 真实（匿名化或在本例中完全虚构）数据集中的模式和相关性的数据。

分布模仿

目标： 如果在现实中，30 % 的患者患有高血压，那么你的合成数据也应大致呈现 30 % 的高血压比例。这同样适用于年龄、性别、实验室数值等。

实现方式：

1. 统计抽样 – 分析已有的（非 HIPAA 敏感）匿名化数据集或公共卫生统计数据，以了解分布情况。随后使用算法生成落在这些统计边界内的新数据点。
2. 生成模型（GAN、VAE） – 在匿名化医学数据（或代表医学概念的结构化数据）上训练生成对抗网络（或变分自编码器），学习底层模式并生成在统计上与原始数据不可区分的合成数据点。

相关性与依赖性

目标： 如果糖尿病患者更可能被开具某种药物，你的合成数据应体现这一点。如果特定实验室数值通常与某个诊断相关，该关联也必须存在。

实现方式：

• 基于规则的生成 – 定义显式规则，例如

  IF diagnosis.code = 'E11' (Type 2 Diabetes) THEN probability(medication.name = 'Metformin') increases by X%

• 贝叶斯网络 – 对变量之间的概率关系建模。这使得在生成数据时，一个属性的取值（例如诊断）会影响另一个属性（例如药物）的概率。

• 基于图的生成 – 将数据模式表示为图。通过遍历该图生成数据，确保节点（表）之间的关系得到遵守。

跨表的关系完整性

目标： Patients 表中的患者 ID 必须对应 Encounters、Diagnoses 和 Medications 表中的同一患者。诊断代码必须是有效代码。

实现方式：

• 种子数据与外键生成 – 首先创建一组合成的“患者种子”。随后生成就诊、诊断等记录，并始终将它们链接回有效的、已存在的合成患者 ID。维护有效的诊断代码、药物代码等列表，并从中抽样。
• 迭代生成 – 先生成患者，再生成就诊，随后利用就诊数据来指导诊断和药物的生成，确保满足所有外键约束。

Source: …

工程化管道：工作流示例

那么，这在实际操作中会是什么样子？

1. 定义模式与约束
   了解需要复制的确切数据库模式。识别所有表、列、数据类型以及关键的外键关系。

2. 分析真实世界模式（或自行定义）

   • 如果可以获取匿名的、聚合的统计数据，使用这些数据来指导分布和相关性。
   • 如果没有，与你的领域专家（医生、护士）合作，定义真实的模式。

3. 选择生成策略

   • 对于较简单的情况，基于规则的生成和统计抽样可能已足够。
   • 对于复杂的多表关系和细微的统计差异，考虑使用生成模型。

4. 开发生成模块

   • 患者生成器 – 创建基础患者记录（人口统计信息、唯一 ID）。
   • 就诊生成器 – 创建访问记录，关联到患者，并设定特定疾病或就诊类型的概率。
   • 诊断 / 用药 / 实验室生成器 – 创建关联到就诊/患者的记录，从已验证的代码集抽样，并遵循之前定义的统计关系。

   （继续构建每个模块，在每一步测试关系完整性，并迭代直至合成数据集反映出期望的真实世界特征。）

编排管道

使用 Airflow、Prefect 或甚至简单脚本，以正确的顺序运行这些模块，确保满足所有外键依赖。

验证与完善

关键是要验证生成的数据。它看起来真实吗？统计分布是否正确？关系是否完整？可能需要根据验证结果调优生成算法。

回报

构建一个强大的合成数据流水线是一项投资，但回报丰厚。你将获得：

• 更快的反馈循环 – 在没有数据安全障碍的情况下，提前且频繁地进行测试。
• 全面的测试覆盖 – 模拟真实数据难以发现的边缘案例和复杂场景。
• HIPAA 安心 – 在测试环境中永不暴露敏感的患者信息。

这是软件工程、数据科学和领域专业知识的精彩交叉。如果你从事医疗科技工作，这是一套值得打磨的技能！

我最近在探索更高级的数据生成技术和流水线自动化。如果你想深入了解这些技术挑战，我在个人博客上写了更多相关内容，分享了构建可扩展系统和前沿技术的见解。请访问 my tech blog 查看详细指南和示例。

祝编码愉快，测试顺利！