随着大数据的增长，ETL（提取、转换、加载）的角色发生了显著变化，这主要是由于需要处理更大容量、更快的数据流和更多样化的数据类型。传统的 ETL 流程专为来自数据库或事务系统的结构化数据设计，通常按计划分批运行。而大数据兴起后，ETL 现在需要处理非结构化或半结构化数据（如日志、传感器数据或社交媒体内容），并且必须近乎实时地处理这些数据。例如，Apache Kafka 等工具支持流式 ETL 管道，可在数据到达时立即处理，无需等待夜间批处理。这种转变使得企业能够更快地根据洞察采取行动，例如立即检测金融交易中的欺诈行为，而不是几个小时后才发现。
另一个主要的演变是向分布式处理框架的转变，以应对可伸缩性。旧的 ETL 工具难以处理大数据场景中常见的巨大数据集。现代解决方案如 Apache Spark 或基于云的服务（例如 AWS Glue）将工作负载分布到集群中，从而能够并行处理数 TB 或数 PB 的数据。例如，开发人员可能使用 Spark 将数据湖中的大型 JSON 文件转换为结构化格式，利用其内存处理能力来减少延迟。这种可伸缩性还降低了对昂贵、单体数据仓库的依赖，因为数据可以在加载到分析平台之前，在 Amazon S3 或 Google Cloud Storage 等经济高效的云存储系统中进行处理。
最后，大数据的兴起模糊了 ETL 和 ELT（提取、加载、转换）之间的界限。随着存储成本的降低，现在通常先将原始数据加载到数据湖中，然后再使用类 SQL 工具（例如 Snowflake 或 BigQuery）进行转换。这种方法提供了灵活性，因为无需重新处理整个数据集即可调整转换。例如，团队可以将原始物联网设备数据采集到数据湖中，然后使用 dbt（数据构建工具）将转换定义为代码，从而使管道更易于维护。这种转变强调模块化、代码驱动的工作流程，而非僵化的 GUI 工具，这与现代 DevOps 实践一致，并促进了数据工程师和分析师之间的协作。