Desarrolla y pon en funcionamiento canalizaciones de transformaciones de datos escalables en BigQuery con SQL.
Desarrolla tablas seleccionadas, actualizadas, confiables y documentadas en BigQuery
Permite que los analistas y los ingenieros de datos colaboren en el mismo repositorio
Compila canalizaciones de datos escalables en BigQuery con SQL
Integra en GitHub y GitLab
Mantén las tablas actualizadas sin administrar la infraestructura
Beneficios
Desarrolla y pon en funcionamiento canalizaciones de datos escalables en BigQuery con SQL desde un único entorno y sin dependencias adicionales.
Con Dataform, los equipos de datos administran el código SQL y las definiciones de los elementos de datos de acuerdo con las prácticas recomendadas de ingeniería de software, como el control de versión, los entornos, las pruebas y la documentación.
Dataform simplifica la complejidad de la compilación de canalizaciones de SQL. Los analistas de datos pueden administrar dependencias, configurar pruebas de calidad de los datos y organizar canalizaciones complejas mediante SQL.
Características clave
Dataform Core permite a los ingenieros y analistas de datos crear de forma centralizada definiciones de tablas, configurar dependencias, agregar descripciones de columnas y configurar afirmaciones de calidad de datos en un solo repositorio solo con SQL.
Las funciones de Dataform Core se pueden adoptar de manera incremental y aditiva, sin modificar el código existente.
Dataform Core es de código abierto y se puede usar de manera local, lo que permite a los usuarios evitar las dependencias, y ofrece flexibilidad para casos de uso más avanzados.
Dataform maneja la infraestructura operativa para actualizar tus tablas según las dependencias entre tus tablas y el uso de la versión más reciente de tu código. El linaje y la información de los datos se pueden seguir sin problemas con las integraciones de Dataform. Activa flujos de trabajo de SQL de forma manual o programa a través de Cloud Composer, Flujos de trabajo o servicios de terceros.
Define tablas, soluciona problemas con mensajes de error en tiempo real, visualiza dependencias, confirma los cambios en Git y programa canalizaciones en minutos, desde una única interfaz, sin salir de tu navegador web. Conecta tu repositorio a proveedores de terceros, como GitHub y GitLab. Confirma los cambios y envía o abre solicitudes de extracción desde el IDE.
Documentación
Precios
Dataform es un servicio sin costo.
Puede haber costos asociados de otros servicios cuando se usa el producto.
Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.