Crear flujos de trabajo

Vista previa

Este producto está sujeto a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones específicas del Servicio. Los productos de la fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Para solicitar asistencia o enviar comentarios sobre esta función, envía un correo electrónico a [e-mail].

En este documento, se describe cómo crear flujos de trabajo en BigQuery. Workflows se basan en Dataform.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. Sigue las instrucciones en Habilita la administración de recursos de código para guardar, compartir y administrar versiones de recursos de código, como flujos de trabajo.
9. Si es la primera vez que creas un elemento de código, configura la región predeterminada para los elementos de código de almacenamiento. No puedes cambiar la región de un elemento de código después de crearla.

Roles obligatorios

Para obtener los permisos que necesitas para crear flujos de trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Para crear flujos de trabajo: Creador de código (roles/dataform.codeCreator)
• Para editar y ejecutar flujos de trabajo, usa el Editor de Dataform (roles/dataform.editor).

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre IAM de Dataform, consulta Control de acceso con IAM.

Nota: Cuando creas un flujo de trabajo, BigQuery te otorga el rol de Administrador de Dataform (roles/dataform.admin) específicamente para ese flujo de trabajo. Esto te otorga acceso de propietario para administrarlo y editarlo. Cualquier persona a la que se le otorgue el rol de administrador de Dataform a nivel del proyecto de Google Cloud tendrá acceso de propietario a todos los flujos de trabajo dentro de ese proyecto.

Crea un flujo de trabajo

Para crear un flujo de trabajo, sigue estos pasos:

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. En la barra de pestañas del panel del editor, haz clic en el ícono menú desplegable junto al signo + y, luego, haz clic en Flujo de trabajo.

3. Opcional: Para cambiar el nombre del flujo de trabajo, haz clic en su nombre y, luego, escribe uno nuevo.

4. Haz clic en Comenzar y, luego, ve a la pestaña Configuración.

5. En el campo Cuenta de servicio, selecciona una cuenta de servicio de Dataform.

6. En la sección Ubicación, selecciona una región de procesamiento para el flujo de trabajo.

   1. Para seleccionar una región específica, selecciona Región y, luego, una región en el menú desplegable Región.
   2. Para seleccionar una multirregión, selecciona Multirregión y, luego, selecciona una en el menú desplegable Multirregión.

   La región de procesamiento del flujo de trabajo no tiene que coincidir con la región de almacenamiento predeterminada para los elementos de código.

7. Si planeas agregar un notebook a tu flujo de trabajo, haz lo siguiente:

   1. En el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu flujo de trabajo.

   2. Sigue las instrucciones de Agrega un principal a una política a nivel de bucket para agregar tu cuenta de servicio personalizada de Dataform como principal al bucket de Cloud Storage que planeas usar para almacenar el resultado de ejecuciones programadas de notebooks y otorgar el rol de administrador de almacenamiento a este principal (roles/storage.admin)

      Se debe otorgar a la cuenta de servicio personalizada de Dataform seleccionada el rol de IAM de administrador de almacenamiento en el bucket seleccionado.

Agrega una tarea de flujo de trabajo

Para agregar una tarea a un flujo de trabajo, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

3. Para agregar una consulta en SQL o un notebook, haz lo siguiente:

   Consulta en SQL

   1. Haz clic en Agregar tarea y, luego, selecciona Consulta.

   2. Opcional: En el panel Detalles de la tarea de consulta, en el menú desplegable Ejecutar después de, selecciona una tarea que preceda a tu consulta.

      Tu consulta dependerá de la tarea anterior.

   3. Para crear la consulta, haz clic en Crear consulta.

   4. En la consulta nueva, agrega el sintaxis de la consulta y, luego, haz clic en Guardar consulta.

   5. Opcional: Para cambiar el nombre de la consulta, haz clic en el nombre y escribe uno nuevo.

   Notebook

   1. Haz clic en Agregar tarea y, luego, selecciona Notebook.

   2. Opcional: En el panel Detalles de la tarea del notebook, en el menú desplegable Ejecutar después de, selecciona una tarea que preceda a tu notebook.

      Tu notebook dependerá de la tarea anterior.

   3. Para crear el notebook, haz clic en Crear notebook.

   4. En el nuevo notebook, agrega contenido y, luego, haz clic en Guardar.

   5. Opcional: Para cambiar el nombre del notebook, haz clic en su nombre y escribe uno nuevo.

Edita una tarea de flujo de trabajo

Para editar una tarea de flujo de trabajo, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

3. Haz clic en la tarea seleccionada.

4. Para cambiar la tarea anterior, en el menú desplegable Ejecutar después de, selecciona una tarea que preceda a tu notebook.

5. Para editar el contenido de la tarea seleccionada, haz clic en Editar.

6. En la pestaña nueva que se abre, edita el contenido de la tarea y, luego, guarda los cambios.

Borra una tarea de flujo de trabajo

Para borrar una tarea de un flujo de trabajo, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

3. Haz clic en la tarea seleccionada.

4. En el panel Detalles de la tarea, haz clic en el ícono BorrarBorrar.

Ejecuta un flujo de trabajo

Para ejecutar manualmente la versión actual de un flujo de trabajo, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y la carpeta Flujos de trabajo y, luego, selecciona un flujo de trabajo.

3. Haz clic en Ejecutar.

4. Opcional: Para inspeccionar la ejecución, consulta las ejecuciones manuales anteriores.

¿Qué sigue?

• Obtén más información sobre los flujos de trabajo en BigQuery.
• Obtén más información para administrar flujos de trabajo.