Desarrolla y pon en funcionamiento canalizaciones de transformaciones de datos escalables en BigQuery con SQL.
Desarrolla tablas seleccionadas, actualizadas, confiables y documentadas en BigQuery.
Permite que los analistas y los ingenieros de datos colaboren en el mismo repositorio.
Compila canalizaciones de datos escalables en BigQuery con SQL
Integra en GitHub y GitLab
Desarrolla canalizaciones de datos directamente en BigQuery Studio.
Beneficios
Simplifica tu arquitectura de procesamiento de datos
Desarrolla y pon en funcionamiento canalizaciones de datos escalables en BigQuery con SQL desde un único entorno, incluido BigQuery Studio, con las funciones de canalizaciones de datos y preparación de datos.
Colabora mediante prácticas de desarrollo de software
Con Dataform, los equipos de datos administran el código SQL y las definiciones de los elementos de datos de acuerdo con las prácticas recomendadas de ingeniería de software, como el control de versiones, los entornos, las pruebas y la documentación.
Compila canalizaciones de SQL de nivel de producción
Dataform simplifica la complejidad de compilar canalizaciones de SQL. Los analistas de datos pueden administrar dependencias, configurar pruebas de calidad de los datos y organizar canalizaciones complejas usando SQL.
Características clave
Dataform Core permite a los ingenieros y analistas de datos crear definiciones de tablas, configurar dependencias, agregar descripciones de columnas y configurar aserciones de calidad de los datos en un solo repositorio solo con SQL.
Las funciones de Dataform Core se pueden adoptar de manera incremental y aditiva, sin modificar el código existente.
Dataform Core es de código abierto y se puede usar de manera local, lo que permite a los usuarios evitar las dependencias, y ofrece flexibilidad para casos de uso más avanzados.
Dataform maneja la infraestructura operativa para actualizar tus tablas según las dependencias entre ellas y el uso de la versión más reciente de tu código. El linaje y la información de los datos se pueden seguir sin problemas con las integraciones de Dataform. Activa flujos de trabajo de SQL de forma manual o programa la activación a través de Managed Service para Apache Airflow, Workflows, las canalizaciones de datos de BigQuery Studio o los servicios de terceros.
Define tablas, soluciona problemas con mensajes de error en tiempo real, visualiza dependencias, confirma los cambios en Git y programa canalizaciones en minutos, desde una única interfaz, sin salir de tu navegador web.
Conecta tu repositorio a proveedores de terceros, como GitHub y GitLab. Confirma los cambios y envía o abre revisiones de código desde el navegador web.
Documentación
Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.