Introducción a las canalizaciones de BigQuery
Puedes usar las canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar activos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.
Información general
Los flujos de trabajo se basan en Dataform.
Una canalización consta de uno o varios de los siguientes recursos de código:
Puedes usar las canalizaciones para programar la ejecución de recursos de código. Por ejemplo, puedes programar una consulta SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego se pueden usar en un panel de control.
En una canalización con varios recursos de código, se define la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta de SQL prepare los datos y, a continuación, un cuaderno posterior entrene el modelo con esos datos.
Funciones
En una canalización, puedes hacer lo siguiente:
- Crea o importa consultas de SQL o cuadernos en una canalización.
- Programa una canalización para que se ejecute automáticamente a una hora y con una frecuencia especificadas.
- Comparte una canalización con los usuarios o grupos que especifiques.
- Comparte un enlace a una canalización.
Limitaciones
Las canalizaciones están sujetas a las siguientes limitaciones:
- Las pipelines solo están disponibles en la Google Cloud consola.
- No puedes cambiar la región para almacenar una canalización después de crearla.
- Puedes conceder acceso a usuarios o grupos a una canalización seleccionada, pero no a tareas concretas de la canalización.
Definir la región predeterminada de los recursos de código
Si es la primera vez que creas un recurso de código, debes definir la región predeterminada para los recursos de código. No puedes cambiar la región de un recurso de código después de crearlo.
Todos los recursos de código de BigQuery Studio usan la misma región predeterminada. Para definir la región predeterminada de los recursos de código, sigue estos pasos:
Ve a la página BigQuery.
En el panel Explorador, busca el proyecto en el que hayas habilitado los recursos de código.
Haz clic en Ver acciones junto al proyecto y, a continuación, en Cambiar mi región de código predeterminada.
En Región, seleccione la región que quiera usar para los recursos de código.
Haz clic en Seleccionar.
Para ver una lista de las regiones admitidas, consulta Ubicaciones de BigQuery Studio.
Regiones disponibles
Todos los recursos de código se almacenan en tu región predeterminada para recursos de código. Si actualiza la región predeterminada, se cambiará la región de todos los recursos de código que se creen a partir de ese momento.
En la siguiente tabla se indican las regiones en las que están disponibles las canalizaciones:
| Descripción de la región | Nombre de la región | Detalles | |
|---|---|---|---|
| África | |||
| Johannesburgo | africa-south1 |
||
| América | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 CO2 bajo
|
|
| Iowa | us-central1 |
CO2 bajo
|
|
| Los Ángeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montreal | northamerica-northeast1 |
CO2 bajo
|
|
| Norte de Virginia | us-east4 |
||
| Oregón | us-west1 |
CO2 bajo |
|
| São Paulo | southamerica-east1 |
CO2 bajo
|
|
| Carolina del Sur | us-east1 |
||
| Asia‑Pacífico | |||
| Hong Kong | asia-east2 |
||
| Yakarta | asia-southeast2 |
||
| Bombay | asia-south1 |
||
| Seúl | asia-northeast3 |
||
| Singapur | asia-southeast1 |
||
| Sídney | australia-southeast1 |
||
| Taiwán | asia-east1 |
||
| Tokio | asia-northeast1 |
||
| Europa | |||
| Bélgica | europe-west1 |
CO2 bajo
|
|
| Fráncfort | europe-west3 |
||
| Londres | europe-west2 |
CO2 bajo
|
|
| Madrid | europe-southwest1 |
CO2 bajo
|
|
| Países Bajos | europe-west4 |
CO2 bajo
|
|
| Turín | europe-west12 |
||
| Zúrich | europe-west6 |
CO2 bajo
|
|
| Oriente Medio | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Cuotas y límites
Los flujos de procesamiento de BigQuery están sujetos a las cuotas y los límites de Dataform.
Precios
La ejecución de tareas de la canalización de BigQuery conlleva cargos por computación y almacenamiento en BigQuery. Para obtener más información, consulta los precios de BigQuery.
Las pipelines que contienen cuadernos incurren en cargos del tiempo de ejecución de Colab Enterprise en función del tipo de máquina predeterminado. Para obtener información sobre los precios, consulta la página Precios de Colab Enterprise.
Cada ejecución de una canalización de BigQuery se registra mediante Cloud Logging. El registro se habilita automáticamente en las ejecuciones de la canalización de BigQuery, lo que puede generar costes de facturación de Cloud Logging. Para obtener más información, consulta los precios de Cloud Logging.
Siguientes pasos
- Consulta cómo crear canalizaciones.
- Consulta cómo gestionar las canalizaciones.
- Consulta cómo programar las canalizaciones.