联邦多任务学习 (FMTL) 与标准联邦学习 (FL) 的区别在于,它解决的是客户端具有不同但相关任务的场景,而不是单一的共享全局任务。在标准 FL 中,所有参与者协作训练一个单一模型,假设他们的数据代表的是同一底层问题的不同变体。例如,FL 中的智能手机可能会使用每个用户的输入历史训练一个共享的键盘预测模型,其中数据是非独立同分布 (non-IID) 的,但任务(预测下一个单词)是相同的。然而,FMTL 允许客户端解决个性化任务,同时仍然受益于共享知识。例如,医疗 FMTL 系统中的医院可以根据其专长预测不同的疾病或患者结果,但可以利用跨机构的共享生物模式。
技术方法也不同。标准 FL 通常聚合模型更新(例如使用 FedAvg)来创建全局模型,假定任务是统一的。然而,FMTL 采用机制来处理任务特定的变体。一种常见方法是训练一个基础模型,该模型在所有客户端之间共享参数,同时允许个性化层或任务特定参数。例如,在智慧城市交通预测系统中,所有城市可以共享一个基础模型来捕获普遍的交通模式(如高峰时段),而每个城市可以针对独特的道路布局或事件微调本地模型组件。另一种方法是元学习,训练一个全局模型,使其能够利用客户端特定数据快速适应新任务。这些技术使得 FMTL 能够平衡协作和个性化,这与 FL 侧重于统一模型不同。
由于任务异质性,FMTL 面临的挑战更加复杂。虽然 FL 在处理非独立同分布数据时面临困难,但 FMTL 还必须防止负迁移(不相关的任务会降低性能),并在协调不同模型时管理通信成本。解决方案包括根据任务相似性对客户端进行聚类,或使用明确建模任务关系的多任务优化框架。例如,零售 FMTL 系统可以按区域对商店进行分组,以共享区域销售趋势,同时保留商店特定的库存需求。这些调整使得 FMTL 适用于需要定制化的应用,例如个性化医疗保健或本地化 AI 服务,而在这些领域,FL 的一刀切方法就显得不足。