使用敏感数据训练机器学习模型会带来重大的隐私风险，主要围绕未经授权的数据泄露、重新识别和滥用。敏感数据（如医疗记录、财务信息或个人身份信息）可能会在训练期间被模型无意中记忆。例如，大型语言模型 (LLM) 等模型可能会在其输出中重现训练数据中的确切引言或个人详细信息，即使数据已被匿名化。这给 GDPR 或 HIPAA 等法规带来了合规风险，这些法规要求严格处理个人数据。此外，攻击者可能会利用模型漏洞通过模型反演或成员推理攻击等技术提取敏感信息，从而揭示特定个人的数据是否用于训练。
具体的例子突出了这些风险。在医疗保健领域，在患者记录上训练的模型可能会通过其预测泄露诊断或治疗细节。例如，如果训练数据包含此类信息，则预测疾病结果的模型可能会无意中暴露患者的 HIV 状态。另一个例子是面部识别系统，该系统在未经同意的情况下从社交媒体上抓取的照片进行训练，这可能会侵犯隐私权并实现监视。即使是匿名数据集也不安全：研究人员表明，将“匿名”数据与外部数据集（例如，公共选民记录）结合起来可以重新识别个人。 2006 年 Netflix Prize 数据集泄露事件，用户通过将电影评分链接到 IMDb 个人资料来识别，说明了看似无害的数据如何被利用。
为了降低这些风险，开发人员可以实施技术保障措施。差分隐私向训练数据或模型输出添加受控噪声，限制了推断个体数据点的能力。联邦学习允许模型在去中心化数据（例如，移动设备）上进行训练，而无需集中敏感信息。数据最小化（仅使用必要数据）和严格的访问控制减少了暴露。例如，Apple 使用联邦学习来进行键盘建议，训练用户打字模式，而无需传输原始数据。 TensorFlow Privacy 或 PyTorch 的 Opacus 等工具简化了差分隐私的实施。法律措施，例如数据使用协议和与用户的透明度，也至关重要。平衡效用和隐私需要仔细的设计，但这些策略有助于降低风险，同时实现创新。