数据湖是一个集中式存储库，旨在以其原始格式存储大量原始、非结构化、半结构化或结构化数据。与传统的数据仓库不同，数据仓库要求数据在存储前进行结构化和清理，数据湖保留所有数据类型——从文本文件和日志到图像和传感器数据——而不施加上游模式。这种灵活性使其特别适用于大数据场景，在这种场景中，数据来自各种来源（例如，物联网设备、社交媒体、应用程序日志），并且需要以其原始状态保存以供将来分析。例如，一家公司可能会将来自 Web 服务器的原始 JSON 日志、来自客户数据库的 CSV 文件以及来自制造传感器的实时流摄取到数据湖中，确保没有数据被过早丢弃或更改。
数据湖使开发人员和数据团队能够以多种方式处理和分析数据。由于保留了原始数据，团队可以根据特定用例根据需要应用不同的处理工具（如 Apache Spark 或 Flink）和模式。例如，机器学习工程师可能会提取原始传感器数据来训练预测性维护模型，而业务分析师稍后会使用 SQL 查询汇总的销售数据。这种“读取时模式”的方法避免了将数据锁定到单个结构中，从而可以进行迭代探索。像 AWS Glue 或 Apache Hive 这样的工具可以对数据进行编目，使其更易于发现和查询。一个实际的例子：流媒体服务可以将用户交互日志存储在数据湖中，然后使用 Spark 预处理点击流数据以用于推荐算法，并使用 Hive 生成每周查看者报告。
可扩展性和成本效率是大数据架构中数据湖的关键优势。它们通常利用 Hadoop HDFS 或云对象存储（例如，Amazon S3、Azure Data Lake Storage）等分布式存储系统，这些系统可以水平扩展以处理 PB 级的数据。这种设计将存储与计算资源分离，使团队可以仅在需要时启动处理集群，从而降低了与维护始终在线的基础设施相比的成本。例如，医疗保健分析平台可能会将多年的患者记录存储在数据湖中，然后使用瞬态 Spark 集群运行偶尔的大规模基因组分析。开发人员还可以对数据进行分区（例如，按日期或区域）以优化查询性能。但是，如果没有适当的治理，数据湖可能会变成无组织的“数据沼泽”，因此元数据管理和访问控制对于保持可用性至关重要。