大数据中的批量处理是指一种数据处理方法，它通过在预定的时间间隔内以组（或“批次”）为单位处理大型数据集，而不是实时分析数据。这种方法旨在有效管理涉及大量数据的工作负载，尤其是在不需要立即处理的情况下。批量系统通常会在一段时间内收集数据，存储起来，然后使用分布式计算框架进行批量处理。例如，一家零售公司可能会累积每日销售交易数据，并在夜间运行一个批量作业来生成关于营收趋势的报告。这种方法优先考虑吞吐量和资源效率而非低延迟结果，因此适用于日志分析、历史数据聚合或 ETL（提取、转换、加载）管道等任务。
批量处理的一个关键方面在于其对分布式存储和计算框架的依赖。Apache Hadoop 和 Apache Spark 等工具常用于将大型数据集分割成更小的块，将它们分布到机器集群上，并并行处理。例如，Hadoop 的 MapReduce 将任务划分为映射（过滤/排序数据）和归约（聚合结果）阶段。Spark 在此基础上进行了改进，采用内存处理，使得迭代算法的批量操作更快。这些系统还处理容错；如果在处理过程中某个节点失败，框架会将其工作负载重新分配给其他节点。批量作业通常在分布式文件系统（如 HDFS）或云存储（如 Amazon S3）中存储的数据上运行，确保对 PB 级数据的可扩展性。开发者通常使用脚本或 Apache Airflow 等编排工具来定义批量工作流，安排作业并管理任务之间的依赖关系。
批量处理非常适合那些优先考虑数据准确性和完整性而非速度的场景。例如，生成月度财务报表需要聚合所有交易而不能遗漏任何记录，这与批量处理的优势一致。它不太适合需要即时反馈的应用，比如欺诈检测。然而，批量系统可以补充实时管道；流处理系统可能会实时标记可疑交易，而批量作业随后会将结果与历史模式进行核对。当处理遗留系统、追求成本效益的资源利用（例如在非高峰时段运行作业）或需要跨整个数据集进行复杂转换的任务时，开发者会选择批量处理。通过理解这些权衡，团队可以设计出能够有效平衡延迟、成本和可靠性的系统。