Hadoop 是一个开源框架，旨在存储和处理跨计算机集群的大型数据集。 其核心是，Hadoop 提供两个关键组件：用于存储的 Hadoop 分布式文件系统 (HDFS) 和用于处理的 MapReduce 编程模型。 它由 Apache 开发，通过将任务分配到多个节点来解决处理超过单个机器容量的数据的难题。 例如，Hadoop 不是尝试在一台服务器上处理 100 TB 的数据集，而是将数据拆分为更小的块，将其分配到集群中，并并行处理。 这种方法可以有效地处理大规模数据。
Hadoop 的架构直接解决了大数据的“三个 V”：容量、速度和多样性。 HDFS 在廉价硬件上存储海量的结构化和非结构化数据，而 MapReduce 能够批量处理这些数据。 例如，开发人员可以使用 MapReduce 来分析来自数千台服务器的日志文件：“map”阶段可能提取错误代码，“reduce”阶段可以统计出现次数。 此外，Hadoop 的生态系统包括 YARN（Yet Another Resource Negotiator，另一种资源协商器）等资源管理工具，以及 Apache Hive 等使用类 SQL 语法查询数据的库。 这些组件使 Hadoop 成为大数据工作流程的灵活基础，尤其是在传统数据库难以扩展或成本高昂时。
虽然 Hadoop 不是大数据的唯一解决方案，但由于其可扩展性和容错性，它仍然具有相关性。 Facebook 和 Netflix 等公司过去曾使用 Hadoop 执行推荐引擎和用户行为分析等任务。 但是，与 Apache Spark 等工具相比，Hadoop 的面向批处理的处理对于实时用例来说可能较慢。 开发人员通常将 Hadoop 与其他技术集成 - 例如，使用 Spark 进行实时分析，同时依赖 HDFS 进行存储。 尽管有更新的替代方案，但 Hadoop 以低成本（使用通用硬件）处理分布式存储和处理的能力确保了它在管理大规模数据管道的企业中继续使用。