联邦学习系统旨在跨去中心化的设备或服务器训练机器学习模型,而无需集中数据。三种常见的架构是中心化、去中心化(点对点)和混合设置。每种架构都解决不同的可扩展性、隐私性和通信需求,选择取决于网络约束、数据分布和信任模型等因素。
在中心化架构中,中央服务器协调训练过程。客户端(例如,移动设备或边缘节点)下载全局模型,在其本地数据上对其进行训练,并将模型更新(例如,梯度)发送回服务器。服务器聚合这些更新(例如,使用联邦平均)以改进全局模型。这种方法易于实现且被广泛使用——例如,在智能手机键盘建议中,用户数据保留在设备上。但是,中央服务器会成为单点故障和潜在的通信瓶颈,尤其是在有大量客户端的情况下。如果服务器受到攻击,还会出现安全风险。
去中心化架构通过允许客户端直接通信来消除中央服务器。每个设备训练一个本地模型,并与对等方共享更新,通常使用共识算法或 Gossip 协议来同步参数。这在不存在受信任的中央实体的情况下非常有用,例如跨组织协作(例如,医院共享医疗见解而不暴露患者数据)。但是,协调变得复杂:客户端必须管理通信计划、处理网络中断以及解决来自不一致更新的冲突。例如,物联网传感器网络可能会使用这种方法来避免依赖中央枢纽,但同步开销会限制可扩展性。
混合架构结合了两种方法的元素。例如,中央服务器可能处理初始模型分发和高级协调,而客户端子集形成对等组以在本地共享更新。这平衡了效率和容错能力。一个真实的用例可能涉及智能工厂:中央服务器训练用于缺陷检测的基础模型,而各个工厂在本地对其进行微调,并且仅与对等方共享匿名化的见解。混合设置提供了灵活性,但需要仔细设计以避免重复纯粹的集中式或分散式系统的缺点。开发人员必须权衡通信成本、隐私保证和管理异构设备的复杂性等因素。