En esta página, se describe cómo exportar la información de los trabajos que se almacenan por lotes a una tabla de BigQuery con Workflows. Específicamente, aprende a ejecutar el flujo de trabajo de export-jobs de muestra y a ver la información del trabajo resultante en BigQuery.
Exportar la información de un trabajo es útil cuando deseas conservarla después de que se borre automáticamente o de forma manual, o bien analizarla fuera de Batch. Como alternativa, si si quieres exportar solo información de cambios de estado de tareas y trabajos a BigQuery, consulta Cómo supervisar trabajos mediante notificaciones en su lugar.
Si deseas obtener información para exportar la información de trabajos que se almacena en otros servicios de Google Cloud, consulta la documentación de exportación de ese servicio. Por ejemplo, consulta las siguientes páginas:
Antes de comenzar
- Si nunca usaste Batch, revisa Comienza a usar Batch y habilitar Batch completando el requisitos previos para los proyectos y usuarios.
-
Enable the BigQuery and Workflows APIs.
Opcional: Identifica un conjunto de datos o una tabla de BigQuery existentes en tu proyecto en el que deseas almacenar la información del trabajo. Una tabla existente debe tener un esquema coincidente.
De lo contrario, puedes usar el flujo de trabajo export-jobs para crear un nuevo conjunto de datos o tabla.
-
A fin de preparar una cuenta de servicio para el flujo de trabajo de export-jobs, haz lo siguiente:
- Crea una cuenta de servicio nueva o identifica una cuenta de servicio existente.
-
Para garantizar que la cuenta de servicio tenga permisos para ejecutar el flujo de trabajo solicita a tu administrador que otorgue el acceso los siguientes roles de IAM en el proyecto:
-
Escribir registros:
Escritor de registros (
roles/logging.logWriter
) -
Crear y editar tablas y conjuntos de datos de BigQuery:
Administrador de BigQuery (
roles/bigquery.admin
) -
Visualiza y borra trabajos por lotes:
Editor de trabajos por lotes (
roles/batch.jobsEditor
)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Es posible que tu administrador también pueda otorgar a la cuenta de servicio los permisos necesarios a través de roles personalizados o con otros roles predefinidos.
-
Escribir registros:
Escritor de registros (
-
A fin de obtener los permisos que necesitas para crear, implementar y ejecutar el flujo de trabajo de export-jobs, solicita a tu administrador que te otorgue el los siguientes roles de IAM en el proyecto:
-
Ver trabajos:
Visualizador de trabajos por lotes (
roles/batch.jobsViewer
) -
Visualiza cuentas de servicio:
Ver cuentas de servicio (
roles/iam.serviceAccountViewer
) -
Ver conjuntos de datos y tablas de BigQuery: Visualizador de datos de BigQuery (
roles/bigquery.dataViewer
) -
Crear, implementar y ejecutar flujos de trabajo:
Editor de flujos de trabajo (
roles/workflows.editor
)
-
Ver trabajos:
Visualizador de trabajos por lotes (
-
Asegúrate de que los usuarios de tu proyecto puedan ver la información del trabajo exportado.
Para garantizar que un usuario tenga los permisos necesarios para exportar información de trabajos, pídele a tu administrador que le otorgue el rol de IAM de Visualizador de datos de BigQuery (
roles/bigquery.dataViewer
) en la tabla, el conjunto de datos o el proyecto.
Cómo exportar información de trabajos
Esta sección explica cómo exportar la información del trabajo con el
flujo de trabajo de exportación-jobs, que es de la
Muestra de código de export-to-bigquery
.
El flujo de trabajo de exportación de trabajos exporta la información de los trabajos de tu proyecto que se encuentran en la región especificada y cumplen con los criterios de filtro especificados.
El flujo de trabajo de exportación de trabajos exporta la información de los trabajos a una tabla especificada en un conjunto de datos especificado, que el flujo de trabajo crea automáticamente si aún no existen en tu proyecto. De forma predeterminada, el flujo de trabajo de exportación-jobs borra los trabajos exportados de Batch, pero tienes la opción editar el flujo de trabajo de los trabajos de exportación para no borrarlos.
Para cada flujo de trabajo de exportación de trabajos que quieras usar, haz lo siguiente:
- Configura la definición del flujo de trabajo.
- Crea e implementa el flujo de trabajo.
- Ejecuta el flujo de trabajo. Repite este paso cada vez que quieras exportar las tareas especificadas.
Configura la definición del flujo de trabajo
Descarga el archivo
export-to-bigquery-delete-batch-jobs.yaml
desde GitHub.Abre el archivo
export-to-bigquery-delete-batch-jobs.yaml
en un editor de texto. Luego, realiza las siguientes modificaciones:Reemplaza
sys.get_env("GOOGLE_CLOUD_PROJECT_ID")
por el ID del proyecto. formateado como una cadena, por ejemplo,"my-project-id"
.Reemplaza
sys.get_env("GOOGLE_CLOUD_LOCATION")
por la región que contiene los trabajos que deseas exportar, con formato de cadena, por ejemplo,"us-central1"
.Opcional: Edita los criterios del filtro que especifican qué trabajos exportar.
De forma predeterminada, el flujo de trabajo de exportación-trabajos especifica los criterios de filtro.
"(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\""
Este criterio de filtro predeterminado exporta información solo para los trabajos que se en el estadoSUCCEEDED
oFAILED
y se crearon antes que el2023-05-01T00:00:00Z
RFC 3339 y marca de tiempo.Reemplaza
default_dataset_id
por un nombre diferente para el elemento (opcional) conjunto de datos que quieres que el flujo de trabajo de exportación-trabajos use o cree.Opcional: Reemplaza
default_table_id
por un nombre diferente de la tabla que deseas que use o cree el flujo de trabajo de exportación-jobs.Si no quieres que el flujo de trabajo borre los trabajos exportados, haz lo siguiente:
Quita las siguientes líneas:
- log_delete_step: call: sys.log args: text: ${"Deleting Batch job " + j.name} severity: NOTICE - delete_job: call: googleapis.batch.v1.projects.locations.jobs.delete args: name: ${j.name}
Quita
+ " and deleted"
.
Guarda el archivo. Mantén el archivo abierto.
Crea y, luego, implementa el flujo de trabajo
En la consola de Google Cloud, ve a la página Workflows.
En la página Flujos de trabajo, haz clic en
Crear.En el campo Nombre del flujo de trabajo, ingresa un nombre para el flujo de trabajo, como ejemplo,
export-batch-jobs-us-central1
.En la lista Cuenta de servicio, selecciona la cuenta de servicio que preparados.
Haz clic en Siguiente.
En el editor de flujos de trabajo, reemplaza el flujo de trabajo de ejemplo por el contenido del archivo
export-to-bigquery-delete-batch-jobs.yaml
. Luego, puedes cerrar el archivo.Haz clic en Implementar. Se abrirá la página Detalles del flujo de trabajo.
Ejecuta el flujo de trabajo
En la página Detalles del flujo de trabajo, haz clic en
Ejecutar. Se abrirá la página Ejecutar flujo de trabajo.En la página Ejecutar flujo de trabajo que se abre, haz clic en Ejecutar.
En la página Detalles de la ejecución que se abre, espera a que el flujo de trabajo realice lo siguiente: terminar de ejecutarse. Por ejemplo, el tiempo de ejecución para exportar y borrar algunos trabajos suele durar unos segundos, pero la ejecución puede tardar más si estás exportar y borrar muchos trabajos.
Cuando el flujo de trabajo termine de ejecutarse, el panel Resultado muestra la siguiente información: resultados.
Cómo ver la información del trabajo exportado
En esta sección, se explica cómo ver los datos de la tabla creados por los trabajos de exportación en el flujo de trabajo. Por ejemplo, puedes usar los siguientes pasos para verificar que el flujo de trabajo se ejecutó correctamente y explorar los datos de la tabla. Para obtener más información sobre cómo ver y usar la información de los trabajos exportados, como escribir consultas, consulta Cómo administrar datos de tablas en la documentación de BigQuery.
En la consola de Google Cloud, ve a la página de BigQuery:
En el panel Explorador, abre la tabla con la información de tu trabajo exportado:
- En el campo Buscar recursos de BigQuery, ingresa el nombre.
de la tabla de tu flujo de trabajo de exportación-trabajos. Por ejemplo, el nombre de la tabla predeterminado es
default_table_id
. - Haz clic en el nombre de la tabla. Se abrirá la página de detalles de la tabla.
En la página de detalles de la tabla, haz clic en la pestaña Detalles.
En la pestaña Detalles, toma nota de la marca de tiempo Última modificación y del Número de filas.
En la página de detalles de la tabla, haz clic en la pestaña Vista previa.
- En el campo Buscar recursos de BigQuery, ingresa el nombre.
de la tabla de tu flujo de trabajo de exportación-trabajos. Por ejemplo, el nombre de la tabla predeterminado es
¿Qué sigue?
- Obtén más información sobre Workflows.
- Obtén más información sobre BigQuery.
- Más información sobre Batch: