在联邦学习中，数据分布在多个设备或服务器上，而不会集中存储。 每个参与者（例如，智能手机、物联网设备或组织）保留其本地数据集，而不是将数据集中到一个位置。 通过聚合来自这些参与者的更新（如梯度或模型权重）来训练全局模型，确保原始数据永远不会离开其来源。 这种方法专为数据隐私、法规遵从性或带宽限制使得集中式训练不切实际的场景而设计。 例如，键盘应用程序可以使用来自数百万用户设备的数据训练下一个单词预测模型，而无需访问他们的实际消息。
联邦学习中数据的分布在结构上可能有所不同。 在**横向联邦学习**中，参与者共享相同的特征空间，但具有不同的数据点。 例如，不同地区的医院可能会收集类似的患者指标（例如，血压、年龄），但服务于不同的人群。 在**纵向联邦学习**中，参与者拥有相同数据点的不同特征。 银行和电子商务平台可能会合作训练欺诈检测模型：银行拥有交易历史记录，而电子商务平台拥有用户浏览行为。 **联邦迁移学习**是一种混合方法，当数据重叠最小时，会将这些方法结合起来。 例如，自动驾驶汽车联盟可能会使用来自不同环境中汽车的各种传感器数据（摄像头、激光雷达）来训练模型。
关键挑战来自这种分布。 数据通常是 **非 IID**（非独立同分布），这意味着一个设备的数据可能无法代表全局分布。 用户的智能手机可能主要有猫的照片，而另一个用户的智能手机有狗的照片，这会导致有偏见的模型更新。 通信成本是另一个问题 - 在设备和中央服务器之间频繁发送大型模型更新可能效率低下。 梯度压缩或选择性参与者抽样等技术有助于减少开销。 隐私风险依然存在； 即使未共享原始数据，模型更新也可能会泄露信息。 差分隐私（向更新添加噪声）或安全聚合（在聚合之前加密更新）等方法可以缓解这些风险，同时保持模型性能。