Ejecuta transformaciones en BigQuery

En esta página, se describe cómo ejecutar transformaciones en BigQuery en lugar de Spark en Cloud Data Fusion.

Para obtener más información, consulta la Descripción general del pushdown de la transformación.

Antes de comenzar

El envío de transformaciones está disponible en la versión 6.5.0 y en versiones posteriores. Si tu canalización se ejecuta en un entorno anterior, puedes actualizar tu instancia a la versión más reciente.

Habilita la transferencia de transformación en tu canalización

Consola

Para habilitar la transferencia de transformación en una canalización implementada, haz lo siguiente:

  1. Ve a tu instancia:

    1. En la consola de Google Cloud, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en la interfaz web de Cloud Data Fusion, haga clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. Haz clic en Menú > Lista.

    Se abrirá la pestaña de la canalización implementada.

  3. Haz clic en la canalización implementada que desees para abrirla en Pipeline Studio.

  4. Haz clic en Configurar > Transformación push.

    Habilitar la transferencia de transformación.

  5. Haz clic en Habilitar transferencia de transformación.

  6. En el campo Conjunto de datos, ingresa el nombre del conjunto de datos de BigQuery.

    Opcional: Para usar una macro, haz clic en M. Para obtener más información, consulta Conjuntos de datos.

  7. Opcional: Configura las opciones si es necesario.

  8. Haz clic en Guardar.

Configuración opcional

.
Propiedad Admite macros Versiones compatibles de Cloud Data Fusion Descripción
Usar conexión No. 6.7.0 y posteriores Indica si se debe usar una conexión existente.
Connection Sí 6.7.0 y posteriores El nombre de la conexión. Esta conexión proporciona información del proyecto y de la cuenta de servicio.
Opcional: Usa la macro de la función, ${conn(connection_name)}.
ID del proyecto del conjunto de datos Sí 6.5.0 Si el conjunto de datos está en un proyecto diferente al que ejecuta el trabajo de BigQuery, ingresa el ID del proyecto del conjunto de datos. Si no se proporciona ningún valor, de forma predeterminada, se usa el ID del proyecto en el que se ejecuta el trabajo.
ID del proyecto Sí 6.5.0 El ID del proyecto de Google Cloud.
Tipo de cuenta de servicio Sí 6.5.0 Selecciona una de las siguientes opciones:
  • Ruta de acceso del archivo: Es la ruta de acceso al archivo de la cuenta de servicio.
  • JSON: El contenido JSON de la cuenta de servicio
El valor predeterminado es JSON.
Ruta de archivo de la cuenta de servicio Sí 6.5.0 Es la ruta de acceso en el sistema de archivos local a la clave de la cuenta de servicio utilizada para la autorización. Se establece en auto-detect cuando se ejecuta en un clúster de Dataproc. Cuando se ejecuta en otros clústeres, el archivo debe estar presente en todos los nodos del clúster. El valor predeterminado es auto-detect.
JSON de la cuenta de servicio Sí 6.5.0 El contenido del archivo JSON de la cuenta de servicio.
Nombre del bucket temporal Sí 6.5.0 El bucket de Cloud Storage que almacena los datos temporales. Si no existe, se crea automáticamente, pero no se borra de forma automática. Los datos de Cloud Storage se borran después de que se cargan en BigQuery. Si no se proporciona este valor, se crea un bucket único y se borra después de que finaliza la ejecución de la canalización. La cuenta de servicio debe tener permiso para crear buckets en el proyecto configurado.
Ubicación Sí 6.5.0 La ubicación en la que se crea el conjunto de datos de BigQuery. Este valor se ignora si el conjunto de datos o el bucket temporal ya existen. La opción predeterminada es la multirregión US.
Nombre de la clave de encriptación Sí 6.5.1/0.18.1 La clave de encriptación administrada por el cliente (CMEK) que encripta los datos escritos en cualquier bucket, conjunto de datos o tabla que creó el complemento. Si el bucket, el conjunto de datos o la tabla ya existe, se ignora este valor.
Retener las tablas de BigQuery después de la finalización Sí 6.5.0 Establece si se deben conservar todas las tablas temporales de BigQuery que se crean durante la ejecución de la canalización para fines de depuración y validación. El valor predeterminado es No.
TTL de la tabla temporal (en horas) Sí 6.5.0 Configura el TTL de las tablas temporales de BigQuery en horas. Esto es útil como seguridad en caso de que se cancele la canalización y se interrumpa el proceso de limpieza (por ejemplo, si el clúster de ejecución se cierra de forma abrupta). Si estableces este valor en 0, se inhabilita el TTL de la tabla. El valor predeterminado es 72 (3 días).
Prioridad del trabajo Sí 6.5.0 La prioridad que se usa para ejecutar trabajos de BigQuery. Selecciona una de las siguientes opciones:
  1. Lote: Un trabajo por lotes se pone en cola y se inicia tan pronto como los recursos inactivos estén disponibles, por lo general, en unos minutos. Si el trabajo no se inicia en un plazo de tres horas, su prioridad se cambia a interactiva.
  2. Interactivo: Se ejecuta un trabajo interactivo lo antes posible y se cuenta dentro del límite de frecuencia simultáneo y el límite de frecuencia diario.
El valor predeterminado es Por lotes.
Etapas para forzar flexiones Sí 6.7.0 Etapas admitidas para ejecutarse siempre en BigQuery. El nombre de cada etapa debe estar en una línea separada.
Etapas para omitir pushdown Sí 6.7.0 Etapas admitidas que nunca se ejecutarán en BigQuery. El nombre de cada etapa debe estar en una línea separada.
Usa la API de Storage Read de BigQuery Sí 6.7.0 Indica si se debe usar la API de BigQuery Storage Read cuando se extraen registros de BigQuery durante la ejecución de la canalización. Esta opción puede mejorar el rendimiento de la transferencia de transformación, pero genera costos adicionales. Esto requiere que Scala 2.12 se instale en el entorno de ejecución.

Supervisa los cambios de rendimiento en los registros

Los registros del entorno de ejecución de la canalización incluyen mensajes que muestran las consultas de SQL que se ejecutan en BigQuery. Puedes supervisar qué etapas de la canalización se envían a BigQuery.

En el siguiente ejemplo, se muestran las entradas de registro cuando comienza la ejecución de la canalización. Los registros indican que las operaciones JOIN de tu canalización se enviaron a BigQuery para su ejecución:

  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'Users' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'UserProfile'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'UserDetails'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'Users'
  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'UserPurchases' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'Purchases'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'UserPurchases'
  INFO  [Driver:i.c.p.g.b.s.BigQuerySQLEngine@190] - Validating join for stage 'MostPopularNames' can be executed on BigQuery: true
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@131] - Starting push for dataset 'FirstNameCounts'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@292] - Starting join for dataset 'MostPopularNames'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@193] - Starting pull for dataset 'MostPopularNames'

El siguiente ejemplo muestra los nombres de las tablas que se asignarán a cada uno de los conjuntos de datos involucrados en la ejecución de pushdown:

  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset Purchases stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset UserDetails stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset FirstNameCounts stored in table <TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@145] - Executing Push operation for dataset UserProfile stored in table <TABLE_ID>

A medida que la ejecución continúa, los registros muestran la finalización de las etapas de envío y, en última instancia, la ejecución de las operaciones JOIN. Por ejemplo:

  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@133] - Completed push for dataset 'UserProfile'
  DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@133] - Completed push for dataset 'UserDetails'
  DEBUG [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@235] - Executing join operation for dataset Users
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQueryJoinDataset@118] - Creating table `<TABLE_ID>` using job: <JOB_ID> with SQL statement: SELECT `UserDetails`.id AS `id` , `UserDetails`.first_name AS `first_name` , `UserDetails`.last_name AS `last_name` , `UserDetails`.email AS `email` , `UserProfile`.phone AS `phone` , `UserProfile`.profession AS `profession` , `UserProfile`.age AS `age` , `UserProfile`.address AS `address` , `UserProfile`.score AS `score` FROM `your_project.your_dataset.<DATASET_ID>` AS `UserProfile` LEFT JOIN `your_project.your_dataset.<DATASET_ID>` AS `UserDetails` ON `UserProfile`.id = `UserDetails`.id
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQueryJoinDataset@151] - Created BigQuery table `<TABLE_ID>
  INFO  [batch-sql-engine-adapter:i.c.p.g.b.s.BigQuerySQLEngine@245] - Executed join operation for dataset Users

Cuando se completen todas las etapas, aparecerá un mensaje que indica que se completó la operación Pull. Esto indica que se activó el proceso de exportación de BigQuery y que los registros comenzarán a leerse en la canalización después de que comience este trabajo de exportación. Por ejemplo:

DEBUG [batch-sql-engine-adapter:i.c.c.e.s.b.BatchSQLEngineAdapter@196] - Completed pull for dataset 'MostPopularNames'

Si la ejecución de la canalización encuentra errores, se describen en los registros.

Para obtener detalles sobre la ejecución de las operaciones JOIN de BigQuery, como el uso de recursos, el tiempo de ejecución y las causas de errores, puedes ver los datos del trabajo de BigQuery con el ID del trabajo, que aparece en los registros de trabajos.

Revisa las métricas de la canalización

Para obtener más información sobre las métricas que proporciona Cloud Data Fusion sobre la parte de la canalización que se ejecuta en BigQuery, consulta las métricas de canalización pushdown de BigQuery.

¿Qué sigue?