El flujo de proceso de ELT aprovecha la potencia y la escalabilidad de las plataformas modernas de almacenamiento y procesamiento de datos. Desglosemos cada componente:

• Extracción: Este paso inicial implica recopilar datos sin procesar de sus fuentes originales. Estas fuentes pueden ser muy diversas, incluidas bases de datos (SQL y NoSQL), aplicaciones empresariales (como CRM y ERP), plataformas de SaaS, APIs y archivos de registro. El proceso de extracción se enfoca en obtener los datos de estos sistemas de forma eficiente.
• Carga: En el segundo paso, los datos sin procesar extraídos se cargan, a menudo en su formato original o con un procesamiento mínimo, directamente en un sistema de almacenamiento de alta capacidad. Los objetivos comunes para estos datos sin procesar son los data lakes en la nube o los almacenes de datos en la nube modernos que pueden manejar grandes volúmenes de datos estructurados, semiestructurados y sin estructurar.
• Transformación: Este paso final se produce después de que los datos se alojan de forma segura en el sistema de destino. Con la potencia de procesamiento del almacén de datos o el data lake, los datos sin procesar se limpian, estructuran, enriquecen y convierten en un formato adecuado para las estadísticas, los informes y el aprendizaje automático. Las transformaciones pueden incluir filtrado, unión, agregación, estandarización de formatos y derivación de nuevos datos.

El proceso de ELT ofrece flexibilidad porque las transformaciones no se fijan antes de la carga. Por ejemplo, los científicos de datos pueden acceder a los datos sin procesar para explorar patrones imprevistos o realizar análisis ad hoc, mientras que los equipos de inteligencia empresarial pueden crear conjuntos de datos seleccionados y transformados para generar informes.

El enfoque ELT ofrece varias ventajas potenciales, sobre todo en entornos que trabajan con grandes volúmenes de datos y diversos tipos de datos:

• Transferencia de datos más rápida: Cargar datos sin procesar en el sistema de destino suele ser más rápido que esperar a que se completen las transformaciones en un área de preparación. Esto significa que los datos pueden estar disponibles para la exploración inicial o casos de uso específicos mucho antes.
• Flexibilidad y agilidad: Dado que los datos sin procesar se conservan en el sistema de destino, las transformaciones se pueden desarrollar, modificar o agregar de forma iterativa a medida que evolucionan los requisitos comerciales. No es necesario volver a transferir datos de los sistemas de origen si cambia la lógica de transformación; simplemente vuelve a ejecutar la transformación en los datos sin procesar que ya están cargados.
• Escalabilidad: Los almacenes de datos en la nube y los data lakes modernos están diseñados para una escalabilidad masiva. ELT aprovecha esta capacidad inherente realizando transformaciones con los motores de procesamiento sólidos de estos sistemas de destino. Esto permite que las organizaciones manejen volúmenes de datos en aumento y transformaciones complejas de forma eficiente.
• Preservación de datos sin procesar: Almacenar datos sin procesar permite tener un registro histórico más completo. Esto puede ser invaluable para la auditoría de datos, el procesamiento posterior si se encuentran errores en transformaciones anteriores o para necesidades analíticas futuras que aún no se previeron. Los científicos de datos a menudo se benefician de tener acceso a los datos más detallados y no transformados.
• Eficiencia de costos para ciertas cargas de trabajo: Usar la potencia de procesamiento de un almacén de datos en la nube para las transformaciones puede ser más rentable que mantener una infraestructura separada o licenciar herramientas de ETL especializadas para las transformaciones, en especial cuando el almacén de datos ofrece un procesamiento optimizado.
• Compatibilidad con diversos tipos de datos: ELT puede ser adecuado para manejar datos estructurados, semiestructurados (como JSON o XML) y no estructurados (como texto o imágenes). Los datos se pueden cargar en su formato nativo y transformarse según sea necesario, lo que puede ser una ventaja significativa en situaciones de macrodatos. Este enfoque de "esquema de lectura", en el que la estructura se aplica durante el procesamiento en lugar de antes de la carga, es un sello distintivo de ELT.

Si bien ELT ofrece varios beneficios, también puede presentar ciertas complicaciones que las organizaciones deben tratar de abordar:

• Administración y seguridad de los datos: Cargar datos sin procesar, que podrían contener información sensible o de identificación personal (PII), en un almacén de datos o un data lake requiere medidas sólidas de administración, seguridad y cumplimiento de los datos. Los controles de acceso, la encriptación y las técnicas de enmascaramiento de datos son fundamentales para proteger estos datos en el entorno de destino.
• Complejidad de la transformación dentro del sistema de destino: Si bien administrar la lógica de transformación compleja directamente en un almacén de datos (por ejemplo, con SQL) o un data lake es una opción potente, también puede ser desafiante. Requiere personal calificado que domine estas herramientas y un enfoque disciplinado para la administración y optimización del código.
• Herramientas y organización: La implementación eficaz de ELT depende de las herramientas adecuadas para organizar los pasos de extracción y carga, y para administrar y ejecutar transformaciones dentro del sistema de destino. Si bien muchas plataformas en la nube ofrecen herramientas, integrarlas y administrar el flujo de trabajo general requiere una planificación cuidadosa.
• Posibilidad de que se formen "pantanos de datos": Si los datos sin procesar que se cargan en un data lake no se catalogan, administran y controlan de forma adecuada, el data lake puede convertirse en un "pantano de datos", en el que es difícil encontrar los datos, confiar en ellos o usarlos de forma eficaz. Una estrategia sólida de administración de datos es crucial.
• Responsabilidad de la calidad de los datos: Dado que las transformaciones ocurren más adelante en el proceso, garantizar la calidad de los datos podría requerir pasos dedicados después de la carga. La supervisión y validación de datos dentro del sistema de destino se vuelve importante.

Abordar estos desafíos de forma proactiva puede ayudar a las organizaciones a aprovechar al máximo las ventajas del paradigma ELT.

Comprender la distinción entre ELT y el proceso más tradicional de ETL (extraer, transformar y cargar) es importante para elegir la estrategia de integración de datos correcta. La diferencia principal radica en cuándo se produce el paso de transformación y dónde se realiza.

ELT es el patrón recomendado de Google Cloud para la integración de datos. La ELT implica extraer datos de los sistemas de origen, cargarlos en BigQuery y, luego, transformarlos en el formato deseado para el análisis. A diferencia del ETL (extraer, transformar y cargar), que implica transformar los datos antes de cargarlos en un almacén de datos, el enfoque ELT te permite usar toda la potencia de BigQuery para realizar transformaciones de datos y cualquier usuario de SQL para desarrollar de forma eficaz canalizaciones de integración de datos.

La elección entre ELT y ETL a menudo depende de casos de uso específicos, la infraestructura existente, los volúmenes de datos y las necesidades de análisis de la organización. En muchas arquitecturas de datos modernas, también se puede usar un enfoque híbrido, que combina ELT y ETL para diferentes partes de la canalización.