El flujo de procesamiento de datos ELT aprovecha el potencial y la escalabilidad de las plataformas modernas de almacenamiento y procesamiento de datos. Vamos a desglosar cada parte:

• Extracción: este paso inicial consiste en recoger datos sin procesar de sus fuentes originales. Estas fuentes pueden ser muy diversas, como bases de datos (SQL y NoSQL), aplicaciones empresariales (como CRMs y ERPs), plataformas de software como servicio (SaaS), APIs y archivos de registro. Este proceso se centra en extraer los datos de estos sistemas de forma eficiente.
• Carga: en el segundo paso, los datos sin procesar extraídos se cargan, a menudo en su formato original o con un procesamiento mínimo, directamente en un sistema de almacenamiento de gran capacidad. Los destinos habituales de estos datos sin procesar son los data lakes en la nube o los almacenes de datos en la nube modernos, que pueden gestionar grandes volúmenes de datos estructurados, semiestructurados y sin estructurar.
• Transformación: este último paso se produce después de que los datos se almacenen de forma segura en el sistema de destino. Gracias a la potencia informática del almacén de datos o del data lake, los datos sin procesar se limpian, estructuran, enriquecen y convierten a un formato adecuado para las analíticas, los informes y el aprendizaje automático. Las transformaciones pueden consistir en filtrar, unir, agregar, estandarizar formatos y derivar nuevos puntos de datos.

El proceso de ELT ofrece flexibilidad porque las transformaciones no se fijan antes de la carga. Los científicos de datos, por ejemplo, pueden acceder a los datos en bruto para explorar patrones imprevistos o hacer análisis ad hoc, mientras que los equipos de inteligencia empresarial pueden crear conjuntos de datos seleccionados y transformados para crear informes.

El proceso de extracción, carga y transformación ofrece varias ventajas potenciales, sobre todo en entornos que gestionan grandes volúmenes de datos y diversos tipos de datos:

• Ingestión de datos más rápida: cargar datos sin procesar en el sistema de destino suele ser más rápido que esperar a que se completen las transformaciones en un área de staging. Esto significa que los datos pueden estar disponibles para la exploración inicial o para casos prácticos concretos mucho antes.
• Flexibilidad y agilidad: como los datos sin procesar se conservan en el sistema de destino, las transformaciones se pueden desarrollar, modificar o añadir de forma iterativa a medida que los requisitos de negocio vayan evolucionando. No es necesario volver a ingerir datos de los sistemas de origen si cambia la lógica de transformación, sino que solo tienes que volver a ejecutar la transformación en los datos sin procesar que ya se han cargado.
• Escalabilidad: los almacenes de datos y los data lakes modernos de la nube están diseñados para ofrecer una escalabilidad masiva. ELT aprovecha esta capacidad inherente al realizar transformaciones con los potentes motores de procesamiento de estos sistemas de destino. De esta forma, las empresas pueden gestionar volúmenes de datos cada vez mayores y transformaciones complejas de forma eficiente.
• Conservación de datos sin procesar: almacenar datos sin procesar permite disponer de un registro histórico más completo. Esto puede ser muy útil para auditar datos, volver a procesarlos si se encuentran errores en transformaciones anteriores o para futuras necesidades analíticas que aún no se hayan previsto. Los científicos de datos suelen beneficiarse de tener acceso a los datos más granulares y sin transformar.
• Eficiencia de costes para determinadas cargas de trabajo: utilizar la potencia de cálculo de un almacén de datos en la nube para las transformaciones puede ser a veces más rentable que mantener una infraestructura independiente o adquirir licencias de herramientas de ETL especializadas para las transformaciones, sobre todo cuando el almacén de datos ofrece un procesamiento optimizado.
• Compatibilidad con diversos tipos de datos: ELT puede ser una buena opción para gestionar datos estructurados, semiestructurados (como JSON o XML) y sin estructurar (como texto o imágenes). Los datos se pueden cargar en su formato nativo y transformar según sea necesario, lo que puede suponer una ventaja significativa en escenarios de Big Data. Este enfoque de "esquema en lectura", en el que la estructura se aplica durante el procesamiento en lugar de antes de la carga, es una característica distintiva de ELT.

Aunque ELT ofrece varias ventajas, también puede plantear ciertas cuestiones que las empresas deben abordar:

• Gestión y seguridad de los datos: cargar datos sin procesar, que podrían contener información sensible o de identificación personal, en un data lake o un almacén de datos requiere medidas sólidas de cumplimiento, seguridad y gestión de datos. Los controles de acceso, el cifrado y las técnicas de enmascaramiento de datos son fundamentales para proteger estos datos en el entorno de destino.
• Complejidad de las transformaciones en el sistema de destino: aunque es una función potente, gestionar transformaciones complejas directamente en un almacén de datos (por ejemplo, mediante SQL) o en un data lake puede resultar complicado. Para ello, se necesita personal cualificado que domine estas herramientas y un enfoque disciplinado de la gestión y la optimización del código.
• Herramientas y orquestación: la implementación eficaz de ELT depende de las herramientas adecuadas para orquestar los pasos de extracción y carga, y para gestionar y ejecutar las transformaciones en el sistema de destino. Aunque muchas plataformas en la nube ofrecen herramientas, integrarlas y gestionar el flujo de trabajo general requiere una planificación cuidadosa.
• Posibilidad de crear "pantanos de datos": si los datos sin procesar que se cargan en un data lake no se catalogan, gestionan y gobiernan correctamente, el data lake puede convertirse en un "pantano de datos" en el que sea difícil encontrar los datos, confiar en ellos o utilizarlos de forma eficaz. Contar con una estrategia de gestión de datos sólida es fundamental.
• Responsabilidad sobre la calidad de los datos: como las transformaciones se producen más adelante en el proceso, para asegurar la calidad de los datos puede que sea necesario realizar pasos específicos después de la carga. Por eso, es importante monitorizar y validar los datos en el sistema de destino.

Abordar estos retos de forma proactiva puede ayudar a las empresas a aprovechar al máximo las ventajas del paradigma ELT.

Es importante conocer la diferencia entre el proceso de ELT y el proceso más tradicional de ETL (extraer, transformar y cargar) para elegir la estrategia de integración de datos adecuada. La principal diferencia radica en cuándo se produce el paso de transformación y dónde se lleva a cabo.

ELT es el patrón de integración de datos que recomienda Google Cloud. El proceso de ELT consiste en extraer datos de los sistemas de origen, cargarlos en BigQuery y, a continuación, transformarlos en el formato deseado para analizarlos.A diferencia de la estrategia ETL (extraer, transformar y cargar), que consiste en transformar los datos antes de cargarlos en un almacén de datos, la estrategia ELT te permite usar todo el potencial de BigQuery para realizar transformaciones de datos y cualquier usuario de SQL puede desarrollar flujos de procesamiento de integración de datos de forma eficaz.

La elección entre ELT y ETL suele depender de casos prácticos específicos, la infraestructura existente, los volúmenes de datos y las necesidades analíticas de la empresa. En muchas arquitecturas de datos modernas, también se puede utilizar un enfoque híbrido, que usa tanto ELT como ETL para distintas partes del flujo de procesamiento.