由于其去中心化的特性，联邦学习面临着几个可扩展性挑战，其中模型是在分布式设备或服务器上训练的。一个主要问题是**通信开销**。 在联邦学习中，客户端（例如，移动设备或边缘服务器）必须将模型更新发送到中央服务器，该服务器将它们聚合到全局模型中。 随着客户端数量的增长，传输的数据量呈指数级增长，导致网络拥塞和延迟。 例如，在数千台设备上训练具有数百万个参数的大型神经网络可能需要每个客户端频繁上传更新，从而导致带宽紧张。 即使采用模型压缩或选择性客户端参与等技术，在庞大的客户端池中协调更新仍然是一个瓶颈，尤其是在连接不可靠或缓慢的环境中。
另一个挑战是**客户端能力和数据分布的异构性**。 客户端在计算能力、存储和能源约束方面各不相同。 例如，智能手机可能具有不同的硬件规格、电池电量或可用时间窗口。 在低功耗设备上进行训练会降低收敛速度，因为某些客户端可能需要更长的时间来计算更新或在训练中途退出。 数据异构性也构成了一个问题：客户端通常具有非独立同分布 (non-IID) 数据，这可能会使全局模型产生偏差。 例如，如果一家医院专门研究罕见疾病，而其他医院则专注于常见疾病，则在医院数据上训练的联邦医疗保健模型可能表现不佳。 扩展需要平衡这些差异，通常通过自适应客户端选择或个性化模型变体等技术，但这些解决方案增加了复杂性。
最后，随着系统规模的扩大，**协调和同步**变得更加困难。 联邦学习框架通常依赖于同步聚合，服务器会等待所有客户端提交更新后再继续。 对于数千个客户端，由于掉队者（由于硬件或连接速度慢而滞后的客户端），这种方法是不切实际的。 异步方法避免了等待，但存在过时更新的风险，即较旧的客户端贡献与较新的模型版本冲突。 例如，在过时的全局模型上进行训练的客户端可能会发送更新，从而破坏聚合结果。 缓解这种情况需要仔细的设计，例如设置更新超时或根据过时程度对贡献进行加权，但这些调整可能会降低模型准确性或增加基础设施成本。 在可扩展性和可靠训练之间取得平衡仍然是一个悬而未决的问题。