什么是 MapReduce，以及它如何支持大数据？ MapReduce 是一种编程模型和框架，旨在跨分布式计算集群并行处理大型数据集。它的工作方式是将任务分解为两个阶段：Map 和 Reduce。在 Map 阶段，输入数据被分成更小的块，一个函数（“mapper”）独立处理每个块以生成中间键值对。在 Reduce 阶段，另一个函数（“reducer”）按键聚合这些中间结果以生成最终输出。例如，要计算大量文本语料库中的词频，mapper 可以为遇到的每个单词发出 (word, 1) 对，而 reducers 将对每个唯一单词的计数求和。这种方法允许通过添加更多机器来水平扩展计算，而不是依赖于单个系统的容量。
MapReduce 通过解决两个关键挑战来支持大数据：可扩展性 和 容错性。通过跨集群分发数据和计算，它可以处理远大于单个机器可以处理的数据集。例如，基于 Hadoop 的 MapReduce 作业可能会将 100 TB 的数据集拆分为存储在数千个节点上的块，mapper 在每个节点上运行以处理本地数据。这种“数据局部性”最大限度地减少了网络开销。此外，该框架会自动处理故障——如果在处理过程中节点崩溃，任务将被重新分配给另一个节点。这种容错性确保了可靠性，而无需开发人员编写自定义错误处理代码，这对于大规模使用不可靠的硬件至关重要。
MapReduce 的实际应用包括日志分析、批量 ETL（提取、转换、加载）作业和大规模索引（例如，构建搜索引擎索引）。例如，一家公司可能会使用 MapReduce 每天分析数 TB 的服务器日志，聚合错误率或用户活动模式等指标。虽然像 Apache Spark 这样的较新框架已经优化了某些用例（例如，迭代算法），但 MapReduce 仍然是面向批处理工作负载的基础。它的简单性——开发人员只需要定义 map 和 reduce 函数——使其易于访问分布式计算，即使任务调度和数据混洗等底层细节被抽象出来。但是，它不太适合实时处理，因为作业通常涉及阶段之间的磁盘 I/O，这会引入延迟。