ELT 流程利用了现代数据存储和处理平台的强大功能和可伸缩性。我们来逐一分析每个组成部分：

• 提取：此初始步骤涉及从原始来源收集原始数据。这些来源可能非常多样化，包括数据库（SQL 和 NoSQL）、企业应用（如 CRM 和 ERP）、SaaS 平台、API 和日志文件。提取过程的重点是高效地从这些系统中获取数据。
• 加载：在第二步中，提取的原始数据通常以原始格式或经过最少处理后直接加载到大容量存储系统中。这种原始数据的常见目标是云数据湖或现代云数据仓库，它们可以处理大量结构化、半结构化和非结构化数据。
• 转换：最后一步是在数据安全地存储在目标系统中之后进行。利用数据仓库或数据湖的计算能力，对原始数据进行清理、结构化、丰富化，并转换为适合分析、报告和机器学习的格式。转换可能包括过滤、联接、聚合、格式标准化和推导新的数据点。

ELT 流程具有灵活性，因为转换在加载之前不是固定的。例如，数据科学家可以访问原始数据来探索意想不到的模式或进行临时分析，而商业智能团队可以构建精选的转换后数据集以用于报告。

ELT 方法具有多种潜在优势，尤其是在处理大量数据和多种数据类型的环境中：

• 更快的数据注入速度：将原始数据加载到目标系统通常比等待在暂存区完成转换要快。这意味着，数据可以更快地用于初始探索或特定应用场景。
• 灵活性和敏捷性：由于原始数据保留在目标系统中，因此可以随着业务需求的变化迭代开发、修改或添加转换。如果转换逻辑发生变化，无需重新从源系统中注入数据；只需对已加载的原始数据重新运行转换即可。
• 可伸缩性：现代云数据仓库和数据湖在设计时就考虑了超强可伸缩性。ELT 利用了这种固有能力，通过这些目标系统的强大处理引擎执行转换。这让组织能够高效地处理不断增长的数据量和复杂的转换。
• 保留原始数据：存储原始数据可以获得更完整的历史记录。这对于数据审核、在之前的转换中发现错误时重新处理数据，或满足尚未预见的未来分析需求来说非常重要。数据科学家通常会受益于访问最精细、未经转换的数据。
• 某些工作负载的费用效益 ：与维护单独的基础设施或为转换使用专门的 ETL 工具相比，使用云数据仓库的计算能力来执行转换有时更具成本效益，尤其是当数据仓库提供优化处理功能时。
• 支持多种数据类型：ELT 非常适合处理结构化数据、半结构化数据（如 JSON 或 XML）和非结构化数据（如文本或图片）。数据可以原生格式加载，并根据需要进行转换，这在大数据场景中可能是一项重大优势。这种“读时架构”方法是 ELT 的标志性特征，即在处理过程中应用结构，而不是在加载之前应用。

虽然 ELT 有诸多优势，但它也存在一些组织应设法解决的考虑因素：

• 数据治理和安全：将可能包含敏感信息或个人身份信息 (PII) 的原始数据加载到数据湖或数据仓库中，需要采取稳健的数据治理、安全性和合规性措施。访问权限控制、加密和数据遮盖技术对于在目标环境中保护这些数据至关重要。
• 目标系统内的转换复杂性：虽然功能强大，但直接在数据仓库（例如使用 SQL）或数据湖中管理复杂的转换逻辑可能会变得具有挑战性。它需要熟练掌握这些工具的高技能人员，以及规范的代码管理和优化方法。
• 工具和编排：有效的 ELT 实现依赖于适当的工具来编排提取和加载步骤，以及在目标系统中管理和执行转换。虽然许多云平台都提供工具，但集成这些工具并管理整体工作流需要仔细规划。
• 可能变成“数据沼泽”：如果加载到数据湖中的原始数据未得到妥善编目、管理和治理，数据湖可能会变成“数据沼泽”，导致数据难以查找、信任或有效使用。制定强有力的数据管理策略至关重要。
• 数据质量责任：由于转换发生在该流程的后期，因此可能需要在加载后执行专门的步骤来确保数据质量。监控和验证目标系统中的数据变得非常重要。

主动应对这些挑战有助于组织充分利用 ELT 范式的优势。

了解 ELT 与更传统的 ETL（提取、转换、加载）流程之间的区别，对于选择正确的数据集成策略至关重要。主要区别在于转换步骤发生的时间和执行位置。

ELT 是 Google Cloud 推荐的数据集成模式。ELT 涉及从源系统提取数据，将其加载到 BigQuery 中，然后将其转换为所需的格式以进行分析。ETL（提取、转换、加载）在将数据加载到数据仓库之前会对数据进行转换，而 ELT 方法与 ETL 不同，它让您可以充分利用 BigQuery 的强大功能来执行数据转换，并让任何 SQL 用户都能有效地开发数据集成流水线。

在 ELT 和 ETL 之间做出选择通常取决于特定的使用场景、现有基础设施、数据量以及组织的分析需求。在许多现代数据架构中，也可以采用混合方法，即对流水线的不同部分同时使用 ELT 和 ETL。