数据仓库的典型 ETL（提取、转换、加载）架构包括三个主要阶段：从源系统提取数据、将其转换为可用格式，以及将其加载到仓库中。该过程首先从各种来源提取原始数据，例如数据库、API、平面文件或外部系统。 然后，在转换阶段对这些数据进行清理、丰富和重组，以与仓库模式和业务规则保持一致。 最后，将处理后的数据加载到仓库中的目标表中，以便进行报告和分析。 Apache NiFi、Informatica 或自定义 Python 脚本等工具通常处理这些阶段，而 Apache Airflow 等编排框架管理工作流依赖项。
在提取阶段，数据从异构来源提取。 例如，一家零售公司可能会从 PostgreSQL 数据库中提取销售交易、从 Salesforce API 中提取客户互动以及从 CSV 文件中提取库存日志。 通常使用增量提取（仅捕获新的或更改的数据）来减少源系统上的负载，而完整提取可能发生在初始加载期间。 数据暂时存储在暂存区中，例如云存储（例如，Amazon S3）或关系数据库，以在转换之前隔离原始数据。 该暂存层确保源系统性能不受影响，并提供在下游发生错误时的恢复点。
在转换期间，应用业务逻辑将原始数据转换为一致的格式。 这包括重复数据删除、数据类型转换（例如，字符串到日期）和聚合（例如，每日销售总额）等任务。 例如，医疗保健系统可以通过合并来自 EHR 系统的数据并标准化诊断代码来标准化患者记录。 转换通常发生在专用处理层中，使用 dbt（数据构建工具）或 Spark 等工具，这些工具可以处理复杂的连接、验证和错误日志记录。 无效记录可能会被路由到隔离表以供人工审核。 最后，将清理后的数据加载到仓库的维度模型（例如，星型模式）或数据湖仓一体结构中。 加载策略包括用于历史数据的批量插入或用于增量更新的 upsert（更新/插入）。 此处应用性能优化，例如在 BigQuery 中对表进行分区或在 Snowflake 中编制索引，以加快查询速度。 监控工具跟踪作业成功率、延迟和数据质量指标，以确保可靠性。