Desarrolla y usa flujos de procesamiento de datos escalables en BigQuery con SQL.
Desarrollar tablas seleccionadas, actualizadas, fiables y documentadas en BigQuery
Permite a los analistas e ingenieros de datos colaborar en el mismo repositorio
Crear flujos de procesamiento de datos escalables en BigQuery con SQL
Integración con GitHub y GitLab
Mantén las tablas actualizadas sin gestionar tu infraestructura
Ventajas
Desarrolla y usa flujos de procesamiento de datos escalables en BigQuery con SQL desde un solo entorno y sin dependencias adicionales.
Con Dataform, los equipos de datos gestionan las definiciones de recursos de datos y su código SQL siguiendo las prácticas recomendadas de ingeniería de software, como el control de versiones, los entornos, las pruebas y la documentación.
Dataform abstrae la complejidad de crear flujos de procesamiento de SQL. Los analistas de datos pueden gestionar dependencias, configurar pruebas de calidad de datos y orquestar flujos de procesamiento complejos con SQL.
Características principales
Dataform Core permite a los ingenieros y analistas de datos crear de forma centralizada definiciones de tablas, configurar dependencias, añadir descripciones a las columnas y hacer afirmaciones de calidad de los datos en un único repositorio mediante SQL.
Las funciones principales de Dataform se pueden adoptar de forma incremental y aditiva sin modificar el código.
Dataform Core es de código abierto y se puede usar de forma local. De este modo, los usuarios no tendrán dependencia de nadie en ningún caso y podrán seguir usándolas de forma más avanzada.
Dataform gestiona la infraestructura operativa para actualizar tus tablas siguiendo las dependencias entre ellas y usando la última versión de tu código. Puedes hacer un seguimiento de la información sobre el linaje y los datos fácilmente gracias a las integraciones con Dataform. Activa los flujos de trabajo de SQL manualmente o prográmalos a través de Cloud Composer, Workflows o servicios de terceros.
Define tablas, corrige problemas con mensajes de error en tiempo real, visualiza dependencias, acepta los cambios en Git y programa flujos de procesamiento en cuestión de minutos desde una única interfaz, sin salir de tu navegador web. Conecta tu repositorio con proveedores externos, como GitHub y GitLab. Comprometer cambios y envía o abre solicitudes de extracción desde el IDE.
Documentación
Precios
Dataform es un servicio sin coste económico.
Si utilizas el producto, es posible que otros servicios tengan costes asociados.
Empieza a crear en Google Cloud con 300 USD en crédito gratis y más de 20 productos Always Free.