Crear y ejecutar un flujo de trabajo en Dataform

Crear y ejecutar un flujo de trabajo en Dataform

En esta guía de inicio rápido se explica el siguiente proceso en Dataform para crear un flujo de trabajo y ejecutarlo en BigQuery:

• Crea un repositorio de Dataform.
• Crea e inicializa un espacio de trabajo de desarrollo de Dataform.
• Crea una vista.
• Crea una tabla.
• Ejecuta el flujo de trabajo creado.
• Ver registros de ejecución en Dataform
• Eliminar los recursos creados.

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Enable the APIs

Roles obligatorios

Para obtener los permisos que necesitas para crear y ejecutar un flujo de trabajo en Dataform, pide a tu administrador que te conceda los siguientes roles de IAM en el proyecto que alojará tu repositorio de Dataform:

• Crear y gestionar repositorios, espacios de trabajo e invocaciones de flujo de trabajo: Administrador de Dataform (roles/dataform.admin)
• Ejecutar flujos de trabajo en BigQuery:
  • Editor de datos de BigQuery (roles/bigquery.dataEditor)
  • Usuario de tareas de BigQuery (roles/bigquery.jobUser)

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Crear un repositorio de Dataform

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en Crear repositorio.

3. En la página Crear repositorio, haz lo siguiente:

   1. En el campo Repository ID (ID de repositorio), introduce quickstart-repository.

   2. En la lista Región, selecciona europe-west4.

   3. Haz clic en Crear.

Crear e inicializar un espacio de trabajo de desarrollo de Dataform

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-repository.

3. Haz clic en Crear espacio de trabajo de desarrollo.

4. En la ventana Crear espacio de trabajo de desarrollo, haga lo siguiente:

   1. En el campo ID de espacio de trabajo, introduce quickstart-workspace.

   2. Haz clic en Crear.

   Aparecerá la página del espacio de trabajo de desarrollo.

5. Haz clic en Inicializar espacio de trabajo.

Nota: Dataform inicializa tu espacio de trabajo con un conjunto de directorios y archivos de configuración que contienen ajustes predeterminados para desplegar flujos de trabajo. Puedes anular la configuración predeterminada en el archivo de configuración del flujo de trabajo para que se adapte mejor a tus necesidades, pero no es obligatorio para desplegar flujos de trabajo en BigQuery. En esta guía de inicio rápido se usa la configuración predeterminada de Dataform.

Crear una vista

En las siguientes secciones, definirá una vista que usará más adelante como fuente de datos de una tabla.

Crear un archivo SQLX para definir una vista

1. En el panel Archivos, junto a definitions/, haz clic en el menú Más.

2. Haz clic en Crear archivo.

3. En el panel Crear archivo, haz lo siguiente:

   1. En el campo Añadir una ruta de archivo, introduce definitions/quickstart-source.sqlx.

   2. Haz clic en Crear archivo.

Definir una vista

1. En el panel Archivos, despliega la carpeta de definiciones.

2. Haz clic en definitions/quickstart-source.sqlx.

3. En el archivo, introduce el siguiente fragmento de código:

   config {
    type: "view"
   }
   
   SELECT
    "apples" AS fruit,
    2 AS count
   UNION ALL
   SELECT
    "oranges" AS fruit,
    5 AS count
   UNION ALL
   SELECT
    "pears" AS fruit,
    1 AS count
   UNION ALL
   SELECT
    "bananas" AS fruit,
    0 AS count
   

4. Haz clic en Formato.

Crear una tabla

En las siguientes secciones, definirá el tipo de tabla en un archivo SQLX y, a continuación, escribirá una instrucción SELECT para definir la estructura de la tabla en el mismo archivo.

Crear un archivo SQLX para la definición de la tabla

1. En el panel Archivos, junto a definitions/, haz clic en el menú Más y, a continuación, selecciona Crear archivo.

2. En el campo Añadir una ruta de archivo, introduce definitions/quickstart-table.sqlx.

3. Haz clic en Crear archivo.

Definir el tipo, la estructura y las dependencias de la tabla

1. En el panel Archivos, despliega el directorio definitions/.

2. Selecciona quickstart-table.sqlx y, a continuación, introduce el siguiente tipo de tabla y la siguiente SELECT instrucción:

   config {
    type: "table"
   }
   
   SELECT
    fruit,
    SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

3. Haz clic en Formato.

   Nota: En el fragmento de código anterior, la función ref hace referencia a la fuente de datos. Para obtener más información, consulta el artículo Crear tablas
   .

Después de definir el tipo de tabla, Dataform genera un error de validación de la consulta porque quickstart-source aún no existe en BigQuery. Este error se resolverá cuando ejecutes el flujo de trabajo más adelante en este tutorial.

Ejecutar el flujo de trabajo en BigQuery

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. En la página quickstart-workspace, haz clic en Iniciar ejecución.

3. Haz clic en Todas las acciones.

4. Haz clic en Iniciar ejecución.

5. En el cuadro de diálogo que se abre, haz clic en Permitir para dar permiso a BigQuery Pipelines para acceder a tu cuenta de Google.

   Dataform usa la configuración predeterminada del repositorio para crear el contenido de tu flujo de trabajo en un conjunto de datos de BigQuery llamado dataform.

Ver registros de ejecución en Dataform

1. En la página quickstart-repository, haz clic en Registros de ejecución del flujo de trabajo.

2. Para ver los detalles de la ejecución, haz clic en la última.

Limpieza

Para evitar que se apliquen cargos en tu cuenta de Google Cloud por los recursos utilizados en esta página, sigue estos pasos.

Eliminar el conjunto de datos creado en BigQuery

Para evitar que se te cobren los recursos de BigQuery, elimina el conjunto de datos llamado dataform.

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y selecciona dataform.

3. Haz clic en el menú Acciones y, a continuación, selecciona Eliminar.

4. En el cuadro de diálogo Eliminar conjunto de datos, introduce delete en el campo y, a continuación, haz clic en Eliminar.

Eliminar el espacio de trabajo de desarrollo de Dataform

Crear un espacio de trabajo de desarrollo de Dataform no tiene ningún coste, pero para eliminarlo, puedes seguir estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-repository.

3. En la pestaña Espacios de trabajo de desarrollo, haz clic en el menú Más quickstart-workspace y, a continuación, selecciona Eliminar.

4. Para confirmar la acción, haz clic en Eliminar.

Eliminar el repositorio de Dataform

Crear un repositorio de Dataform no tiene ningún coste, pero para eliminarlo, puedes seguir estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. En quickstart-repository, haz clic en el menú Más y, a continuación, selecciona Eliminar.

3. En la ventana Eliminar repositorio, introduce el nombre del repositorio para confirmar la eliminación.

4. Para confirmar la acción, haz clic en Eliminar.

Siguientes pasos

• Para obtener más información sobre Dataform, consulta la descripción general de Dataform.

• Para obtener más información sobre las funciones de Dataform, consulta el artículo Funciones de Dataform.

• Para obtener más información sobre Dataform Core, consulta el artículo de introducción a Dataform Core.

• Para saber cómo anular la configuración predeterminada de Dataform de tu repositorio, consulta Configurar los ajustes del flujo de trabajo de Dataform.

• Para obtener más información sobre cómo gestionar conjuntos de datos en BigQuery, consulta el artículo sobre gestión de conjuntos de datos.

• Para obtener más información sobre cómo gestionar tablas en BigQuery, consulta Gestionar tablas.