由于边缘设备的限制，边缘AI中的模型训练面临重大挑战，这些设备与基于云的环境不同。边缘设备，如传感器、智能手机或嵌入式系统，计算能力、内存和能源资源有限。在这些设备上训练机器学习模型需要在性能与硬件限制之间取得平衡，这通常迫使开发者在模型准确性、训练时间和资源使用之间进行权衡。例如，由于CPU和RAM的限制，树莓派（Raspberry Pi）可能难以训练复杂的卷积神经网络（CNN），导致训练时间过长或崩溃。这些限制要求仔细优化算法和硬件使用。
另一个主要挑战是数据稀缺和质量。边缘设备通常在数据碎片化、稀疏或对隐私敏感的环境中运行。与可以聚合大型数据集的基于云的训练不同，边缘设备可能只能访问本地化或孤立的数据。例如，一个智能恒温器在一个家庭中收集温度数据，不能轻易地推广到适用于其他环境的模式。此外，联邦学习（即设备协作训练共享模型而不共享原始数据）带来了管理非独立同分布（non-IID）数据分布等复杂性。如果一个设备的数据存在偏差（例如，在低光环境下的安全摄像头），全局模型在其他设备上可能会表现不佳。确保边缘节点之间的数据多样性和一致性变得至关重要，但也十分困难。
能源效率和实时处理增加了进一步的复杂性。在边缘设备上训练模型会消耗大量电力，这对于无人机或可穿戴设备等电池供电设备来说是个问题。量化（降低数值精度）或剪枝（移除冗余神经网络连接）等技术可以减少计算负载，但也可能降低模型准确性。例如，为在智能手表上运行而对语音识别模型进行剪枝可能会节省能源，但会降低其理解不同口音的能力。此外，边缘设备通常需要同时执行推理和训练，这需要高效的资源分配。例如，自动驾驶汽车的板载系统必须在周期性更新模型的同时优先进行实时目标检测，这需要仔细调度以避免延迟或过热。平衡这些相互冲突的需求仍然是边缘AI训练中一个持续存在的障碍。