O fluxo de processo ELT aproveita a capacidade e a escalonabilidade das plataformas modernas de armazenamento e processamento de dados. Vamos analisar cada componente:

• Extrair: essa etapa inicial envolve a coleta de dados brutos das fontes originais. Essas fontes podem ser muito diversas, incluindo bancos de dados (SQL e NoSQL), aplicativos corporativos (como CRMs e ERPs), plataformas SaaS, APIs e arquivos de registro. O processo de extração se concentra em extrair os dados desses sistemas com eficiência.
• Carregar: na segunda etapa, os dados brutos extraídos são carregados, geralmente no formato original ou com processamento mínimo, diretamente em um sistema de armazenamento de alta capacidade. Os destinos comuns para esses dados brutos são data lakes na nuvem ou data warehouses modernos na nuvem que podem lidar com grandes volumes de dados estruturados, semiestruturados e não estruturados.
• Transformação: essa etapa final ocorre depois que os dados são armazenados com segurança no sistema de destino. Usando o poder computacional do data warehouse ou do data lake, os dados brutos são limpos, estruturados, enriquecidos e convertidos em um formato adequado para análise, geração de relatórios e machine learning. As transformações podem incluir filtragem, associação, agregação, padronização de formatos e derivação de novos pontos de dados.

O processo de ELT oferece flexibilidade porque as transformações não são fixadas antes do carregamento. Os cientistas de dados, por exemplo, podem acessar os dados brutos para explorar padrões imprevisíveis ou realizar análises ad hoc, enquanto as equipes de Business Intelligence podem criar conjuntos de dados selecionados e transformados para relatórios.

A abordagem ELT oferece várias vantagens em potencial, principalmente em ambientes que lidam com grandes volumes e diversos tipos de dados:

• Ingestão de dados mais rápida: carregar dados brutos no sistema de destino geralmente é mais rápido do que esperar a conclusão das transformações em uma área de preparação. Isso significa que os dados podem ficar disponíveis para a exploração inicial ou casos de uso específicos muito mais cedo.
• Flexibilidade e agilidade: como os dados brutos são preservados no sistema de destino, as transformações podem ser desenvolvidas, modificadas ou adicionadas de forma iterativa conforme os requisitos de negócios evoluem. Não é necessário reinserir dados dos sistemas de origem se a lógica de transformação mudar. Basta executar a transformação novamente nos dados brutos já carregados.
• Escalonabilidade: data warehouses e data lakes modernos na nuvem são projetados para escalonabilidade massiva. O ELT aproveita essa capacidade inerente realizando transformações com os mecanismos de processamento robustos desses sistemas de destino. Isso permite que as organizações lidem com volumes crescentes de dados e transformações complexas de maneira eficiente.
• Preservação de dados brutos: armazenar dados brutos permite um registro histórico mais completo. Isso pode ser muito útil para auditoria de dados, reprocessamento se houver erros em transformações anteriores ou para necessidades analíticas futuras que ainda não foram previstas. Os cientistas de dados geralmente se beneficiam do acesso aos dados mais granulares e não transformados.
• Eficiência de custo para determinadas cargas de trabalho: usar a capacidade de computação de um data warehouse em nuvem para transformações pode ser mais econômico do que manter uma infraestrutura separada ou licenciar ferramentas ETL especializadas para transformações, especialmente quando o data warehouse oferece processamento otimizado.
• Suporte a diversos tipos de dados: o ELT é adequado para lidar com dados estruturados, semiestruturados (como JSON ou XML) e não estruturados (como texto ou imagens). Os dados podem ser carregados no formato nativo e transformados conforme necessário, o que pode ser uma vantagem significativa em cenários de Big Data. Essa abordagem de "schema-on-read", em que a estrutura é aplicada durante o processamento, e não antes do carregamento, é uma característica marcante do ELT.

Embora o ELT ofereça vários benefícios, ele também pode apresentar certas considerações que as organizações precisam abordar:

• Governança e segurança de dados: carregar dados brutos, que podem conter informações sensíveis ou de identificação pessoal (PII), em um data lake ou data warehouse exige medidas robustas de governança, segurança e compliance de dados. Controles de acesso, criptografia e técnicas de mascaramento de dados são essenciais para proteger esses dados no ambiente de destino.
• Complexidade da transformação no sistema de destino: embora seja poderoso, gerenciar a lógica de transformação complexa diretamente em um data warehouse (por exemplo, usando SQL) ou data lake pode ser desafiador. É preciso ter pessoal qualificado e proficiente nessas ferramentas e uma abordagem disciplinada para o gerenciamento e a otimização de códigos.
• Ferramentas e orquestração: a implementação eficaz de ELT depende de ferramentas adequadas para orquestrar as etapas de extração e carregamento e para gerenciar e executar transformações no sistema de destino. Embora muitas plataformas de nuvem ofereçam ferramentas, integrá-las e gerenciar o fluxo de trabalho geral exige um planejamento cuidadoso.
• Possibilidade de "pântanos de dados": se os dados brutos carregados em um data lake não forem catalogados, gerenciados e governados adequadamente, o data lake pode se transformar em um "pântano de dados", em que os dados são difíceis de encontrar, confiar ou usar de maneira eficaz. Uma boa estratégia de gerenciamento de dados é essencial.
• Responsabilidade pela qualidade dos dados: como as transformações ocorrem mais tarde no processo, garantir a qualidade dos dados pode exigir etapas dedicadas após o carregamento. Monitorar e validar dados no sistema de destino se torna importante.

Ao enfrentar esses desafios de forma proativa, as organizações podem aproveitar ao máximo as vantagens do paradigma ELT.

Entender a diferença entre ELT e o processo mais tradicional de ETL (extração, transformação e carregamento) é importante para escolher a estratégia de integração de dados certa. A principal diferença está em quando a etapa de transformação ocorre e onde ela é realizada.

O ELT é o padrão recomendado pelo Google Cloud para integração de dados. O ELT envolve a extração de dados de sistemas de origem, o carregamento deles no BigQuery e a transformação no formato desejado para análise. Ao contrário do ETL (extrair, transformar, carregar), que envolve a transformação de dados antes de serem carregados em um data warehouse, a abordagem ELT permite usar todo o poder do BigQuery para realizar transformações de dados e qualquer usuário de SQL para desenvolver pipelines de integração de dados com eficiência.

A escolha entre ELT e ETL geralmente depende de casos de uso específicos, infraestrutura existente, volumes de dados e necessidades analíticas da organização. Em muitas arquiteturas de dados modernas, também é possível usar uma abordagem híbrida, com ELT e ETL para partes diferentes do pipeline.