联邦迁移学习 (FTL) 是一种结合了两个概念的机器学习方法:联邦学习和迁移学习。联邦学习使多个参与方能够在不共享其原始数据的情况下协作训练模型,从而保护隐私。迁移学习允许为一项任务或数据集开发的模型被重用或调整为另一项不同但相关的任务。 在 FTL 中,这些想法融合在一起,使组织或设备能够利用来自源域(例如,一家公司的数据)的知识来提高目标域(例如,另一家公司的任务)的性能,而无需交换敏感数据。 例如,医院可以使用 FTL 来调整在另一家医院的患者数据上训练的模型,使其适应当地人口,即使法律限制禁止直接数据共享。
FTL 的工作原理是构建知识在参与者之间转移的方式。 通常,基础模型是在源参与方的数据上训练的。 然后将此模型的参数或特征与目标参与方共享,目标参与方使用自己的数据微调模型。 该过程通过中央服务器或点对点通信进行协调,确保原始数据保持分散。 例如,零售连锁店可能会根据客户互动丰富的地区的数据训练基本推荐模型,然后通过将本地更新与共享模型相结合,使其适应数据稀疏的地区。 特征提取(重用学习到的模式)或参数冻结(在微调期间锁定模型的部分)等技术很常见。 这种方法减少了对大型本地数据集的需求,同时保持了隐私。
FTL 的主要优势包括保护隐私、降低数据收集成本以及能够在具有不同数据分布的域之间进行协作。 然而,挑战包括通信开销、对齐异构数据结构以及确保针对恶意参与者的鲁棒性。 例如,金融机构可以使用 FTL 通过将具有大量欺诈数据的银行的模式转移到具有有限示例的银行来检测欺诈,同时保持交易细节的私密性。 为了解决安全问题,可以在模型更新期间应用差分隐私或同态加密等方法。 虽然 FTL 需要仔细协调,但它为组织共享见解提供了一条实用的途径,而不会损害敏感信息。