ELT 流程利用了现代数据存储和处理平台的强大功能和可伸缩性。我们来逐一分析各个组成部分：

• 提取 ：这一初步步骤涉及从原始来源收集原始数据。这些来源可能非常多样，包括数据库（SQL 和 NoSQL）、企业应用（如 CRM 和 ERP）、SaaS 平台、API 和日志文件。提取过程的重点是高效地从这些系统中提取数据。
• 加载：在第二步中，提取的原始数据通常以原始格式或经过最少处理后直接加载到高容量存储系统中。此原始数据的常见目标是云数据湖或现代云数据仓库，它们可以处理大量结构化、半结构化和非结构化数据。
• 转换 ：此最后一步发生在数据安全地存储在目标系统中之后。利用数据仓库或数据湖的计算能力，对原始数据进行清理、结构化、丰富和转换，使其成为适合分析、报告和机器学习的格式。转换可以包括过滤、联接、聚合、标准化格式和派生新数据点。

ELT 流程具有灵活性，因为在加载之前，转换并未固定。例如，数据科学家可以访问原始数据来探索未曾预料到的模式或进行临时分析，而商业智能团队可以构建经过精心整理和转换的数据集来进行报告。

ELT 方法具有多项潜在优势，在处理大量数据和多种数据类型的环境中尤其如此：

• 更快的数据注入速度：将原始数据加载到目标系统通常比等待转换在暂存区域中完成更快。这意味着数据可以更快地用于初步探索或特定应用场景。
• 灵活性和敏捷性 ：由于原始数据会保留在目标系统中，因此可以随着业务需求的演变，迭代开发、修改或添加转换。如果转换逻辑发生变化，无需从源系统重新注入数据；只需对已加载的原始数据重新运行转换即可。
• 可伸缩性 ：现代云数据仓库和数据湖旨在实现大规模可伸缩性。ELT 利用这些目标系统的强大处理引擎执行转换，从而充分利用其固有能力。这使组织能够高效地处理不断增长的数据量和复杂的转换。
• 原始数据的保留 ：存储原始数据可提供更完整的历史记录。这对于数据审核、在发现之前的转换中存在错误时重新处理以及未来尚未预料到的分析需求都非常有用。数据科学家通常可以从访问最精细的未转换数据中受益。
• 某些工作负载的费用效益 ：与维护单独的基础设施或为转换使用专门的 ETL 工具相比，使用云数据仓库的计算能力来执行转换有时更具成本效益，尤其是当数据仓库提供优化处理功能时。
• 支持多种数据类型： ELT 非常适合处理结构化、半结构化（如 JSON 或 XML）和非结构化数据（如文本或图片）。数据可以以原始格式加载，并可根据需要进行转换，这在处理大数据场景时是一项重要优势。这种“schema-on-read”方法（在处理期间而不是加载之前应用架构）是 ELT 的标志。

虽然 ELT 具有多项优势，但组织也应考虑以下问题：

• 数据治理和安全性 ：将可能包含敏感信息或个人身份信息 (PII) 的原始数据加载到数据湖或数据仓库中，需要强大的治理、安全和合规措施。访问权限控制、加密和数据屏蔽技术对于在目标环境中保护这些数据至关重要。
• 目标系统中的转换复杂性： 虽然功能强大，但直接在数据仓库（例如使用 SQL）或数据湖中管理复杂的转换逻辑可能会变得具有挑战性。这需要熟练的人员，他们精通这些工具，并采用严谨的方法来管理和优化代码。
• 工具和编排：有效的 ELT 实现依赖于适当的工具来编排提取和加载步骤，以及在目标系统内管理和执行转换。虽然许多云平台都提供工具，但需要仔细规划才能将这些工具集成并管理整个工作流。
• 可能形成“数据沼泽”： 如果加载到数据湖中的原始数据未得到妥善编目、管理和治理，则数据湖可能会变成“数据沼泽”，其中的数据难以查找、难以信任或难以有效使用。制定可靠的数据管理策略至关重要。
• 数据质量责任： 由于转换是在流程的后期进行的，因此确保数据质量可能需要在加载之后执行专门的步骤。监控和验证目标系统中的数据变得非常重要。

主动应对这些挑战有助于组织充分利用 ELT 范式的优势。

了解 ELT 与更传统的 ETL（提取、转换、加载）流程之间的区别对于选择合适的数据集成策略至关重要。主要区别在于转换步骤发生的时间和执行的位置。

ELT 是 Google Cloud 推荐的数据集成模式。ELT 涉及从源系统提取数据，将其加载到 BigQuery 中，然后将其转换为所需的格式以进行分析。ETL（提取、转换、加载）在将数据加载到数据仓库之前会对数据进行转换，而 ELT 方法与 ETL 不同，它让您可以充分利用 BigQuery 的强大功能来执行数据转换，并让任何 SQL 用户都能有效地开发数据集成流水线。

在 ELT 和 ETL 之间做出选择通常取决于特定的使用场景、现有基础设施、数据量以及组织的分析需求。在许多现代数据架构中，还可能采用混合方法，即在流水线的不同部分同时使用 ELT 和 ETL。