Introducción a flujos de trabajo
Para solicitar asistencia o enviar comentarios sobre esta función, envía un correo electrónico a bigquery-workflows-preview-feedback@google.com.
En este documento, se proporciona una introducción a los flujos de trabajo en BigQuery. Puedes usar flujos de trabajo para ejecutar recursos de código en secuencia, según un programa.
Los flujos de trabajo se basan en Dataform.
Un flujo de trabajo consta de uno o más de los siguientes recursos de código:
Puedes programar un flujo de trabajo para que se ejecute automáticamente a una hora y frecuencia especificadas.
Puedes usar flujos de trabajo para programar la ejecución de recursos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.
En un flujo de trabajo con varios recursos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.
Información acerca de la programación de flujos de trabajo
Cada programación de flujo de trabajo se ejecuta con una cuenta de servicio personalizada de Dataform, que seleccionas durante la creación de la programación. Para obtener más información sobre los tipos de cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.
Los cambios que realices en un flujo de trabajo se guardarán automáticamente, pero solo estarán disponibles para ti y para los usuarios a los que se les otorgue el rol de administrador de Dataform en el proyecto. Para actualizar el programa con una versión nueva del flujo de trabajo, debes implementarlo. La implementación actualiza el programa para usar la versión actual del flujo de trabajo. Las programaciones siempre ejecutan la versión implementada más reciente.
Las programaciones de flujos de trabajo que contienen notebooks usan una especificación de entorno de ejecución predeterminada. Durante una ejecución programada de un flujo de trabajo que contiene notebooks, BigQuery escribe el resultado del notebook en el bucket de Cloud Storage seleccionado durante la creación de la programación.
Limitaciones
Los flujos de trabajo están sujetos a las siguientes limitaciones:
- No puedes agregar un notebook o una consulta en SQL existentes a un flujo de trabajo. Para agregar una tarea de flujo de trabajo, debes crear un nuevo notebook o una consulta en SQL en el flujo de trabajo.
- No puedes otorgar acceso a un flujo de trabajo seleccionado a otros usuarios.
- Los flujos de trabajo solo están disponibles en la consola de Google Cloud.
- No puedes cambiar la región para almacenar un flujo de trabajo después de crearlo. Para obtener más información, consulta Configura la región predeterminada para los elementos de código.
Regiones admitidas
Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los elementos de código creados después de ese punto.
En la siguiente tabla, se enumeran las regiones en las que están disponibles los flujos de trabajo:
| Descripción de la región | Nombre de la región | Detalles | |
|---|---|---|---|
| África | |||
| Johannesburgo | africa-south1 |
||
| América | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 CO2 bajo
|
|
| Iowa | us-central1 |
CO2 bajo
|
|
| Los Ángeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montreal | northamerica-northeast1 |
CO2 bajo
|
|
| N. Virginia | us-east4 |
||
| Oregón | us-west1 |
CO2 bajo |
|
| São Paulo | southamerica-east1 |
CO2 bajo
|
|
| Carolina del Sur | us-east1 |
||
| Asia-Pacífico | |||
| Hong Kong | asia-east2 |
||
| Yakarta | asia-southeast2 |
||
| Bombay | asia-south1 |
||
| Seúl | asia-northeast3 |
||
| Singapur | asia-southeast1 |
||
| Sídney | australia-southeast1 |
||
| Taiwán | asia-east1 |
||
| Tokio | asia-northeast1 |
||
| Europa | |||
| Bélgica | europe-west1 |
CO2 bajo
|
|
| Fráncfort | europe-west3 |
CO2 bajo
|
|
| Londres | europe-west2 |
CO2 bajo
|
|
| Madrid | europe-southwest1 |
CO2 bajo
|
|
| Países Bajos | europe-west4 |
CO2 bajo
|
|
| Turín | europe-west12 |
||
| Zúrich | europe-west6 |
CO2 bajo
|
|
| Oriente Medio | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Cuotas y límites
Los flujos de trabajo están sujetos a las cuotas y límites de Dataform.
Precios
La ejecución de tareas de flujo de trabajo genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.
Los flujos de trabajo que contienen notebooks incurren en cargos del entorno de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.
Cada ejecución de flujo de trabajo de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de flujos de trabajo de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.
¿Qué sigue?
- Aprende a crear flujos de trabajo.
- Obtén más información para administrar flujos de trabajo.