大数据中的分布式计算是指在多个机器或节点作为一个系统协同工作来处理大型数据集的实践。它不是依靠单台机器来处理海量工作负载，而是将任务分解为更小的部分，并行处理它们，并将结果组合起来。这种方法解决了处理对于传统系统来说太大或太复杂的数据时，例如可伸缩性、速度和容错性等挑战。 其核心是使用通过网络连接的机器集群（通常是商用硬件），由 Apache Hadoop 或 Apache Spark 等框架协调，以管理数据存储、任务调度和错误处理。
一个关键的例子是分布式系统如何处理数据分区。例如，一个 100 TB 的数据集可能被分成 128 MB 的块，存储在 Hadoop 分布式文件系统 (HDFS) 中数百个节点上。在处理这些数据时，像 MapReduce 这样的框架将作业分解为更小的任务：每个节点处理其本地块（map 阶段），并且结果在节点之间聚合（reduce 阶段）。这种并行性显著加快了处理速度。另一个例子是 Apache Spark，它使用内存计算来缓存中间数据，从而使迭代算法（如机器学习工作流程）运行得更快。容错是通过数据复制（例如，HDFS 默认存储每个块的三个副本）和如果节点发生故障时的任务重试来实现的。
对于开发人员来说，理解分布式计算包括掌握网络延迟、数据局部性和一致性模型等权衡。例如，设计 Spark 应用程序需要决定如何分区数据以最大限度地减少 shuffling（节点之间的数据移动），这会影响性能。类似地，选择批处理（Hadoop）还是实时流处理（Apache Flink）取决于日志分析与欺诈检测等用例。分布式计算不是一刀切的解决方案——它是一个工具包，正确的方案取决于具体的需求，如数据大小、处理速度和可靠性需求。