Cómo exportar información de trabajos

En esta página, se describe cómo exportar la información de tus trabajos que se almacena en Batch a una tabla de BigQuery mediante flujos de trabajo. Específicamente, aprende a ejecutar el flujo de trabajo de export-jobs de muestra y a ver la información del trabajo resultante en BigQuery.

Exportar la información de un trabajo es útil cuando deseas conservarla después de que se borre automáticamente o de forma manual, o bien analizarla fuera de Batch. Como alternativa, si solo quieres exportar información de cambio de estado de tareas y trabajos a BigQuery, consulta Cómo supervisar trabajos con notificaciones.

Para obtener información sobre cómo exportar información de trabajos que se almacena en otros servicios deGoogle Cloud , consulta la documentación de exportación de ese servicio. Por ejemplo, consulta las siguientes páginas:

• Exporta registros de Cloud Logging.
• Exporta métricas de Cloud Monitoring.

Nota: Los flujos de trabajo y BigQuery son productosGoogle Cloud separados que tienen sus propios precios. Para obtener más información, consulta los precios de Workflows y los precios de BigQuery.

Antes de comenzar

1. Si nunca usaste Batch, consulta Cómo comenzar a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.

2. Enable the BigQuery and Workflows APIs.

   Enable the APIs

3. Opcional: Identifica un conjunto de datos o una tabla de BigQuery existentes en tu proyecto en el que deseas almacenar la información del trabajo. Una tabla existente debe tener un esquema coincidente.

   De lo contrario, puedes usar el flujo de trabajo de trabajos de exportación para crear un conjunto de datos o una tabla nuevos.

4. Para preparar una cuenta de servicio para el flujo de trabajo de trabajos de exportación, haz lo siguiente:

   1. Crea una cuenta de servicio nueva o identifica una cuenta de servicio existente.

   2. Para garantizar que la cuenta de servicio tenga los permisos necesarios para ejecutar el flujo de trabajo de trabajos de exportación, pídele a tu administrador que le otorgue a la cuenta de servicio los siguientes roles de IAM en el proyecto:

      • Para escribir registros, usa el Escritor de registros (roles/logging.logWriter).
      • Crear y editar tablas y conjuntos de datos de BigQuery: Administrador de BigQuery (roles/bigquery.admin)
      • Ver y borrar trabajos por lotes: Editor de trabajos por lotes (roles/batch.jobsEditor)

      Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

      Es posible que tu administrador también pueda otorgar a la cuenta de servicio los permisos necesarios mediante roles personalizados o con otros roles predefinidos.

5. Para obtener los permisos que necesitas para crear, implementar y ejecutar el flujo de trabajo de trabajos de exportación, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

   • Ver trabajos: Visualizador de trabajos por lotes (roles/batch.jobsViewer)
   • Ver cuentas de servicio: Ver cuentas de servicio (roles/iam.serviceAccountViewer)
   • Ver conjuntos de datos y tablas de BigQuery: Visualizador de datos de BigQuery (roles/bigquery.dataViewer)
   • Crear, implementar y ejecutar flujos de trabajo: Editor de flujos de trabajo (roles/workflows.editor)

6. Asegúrate de que los usuarios de tu proyecto puedan ver la información de la tarea exportada.

   Para garantizar que un usuario tenga los permisos necesarios para exportar información de trabajos, pídele a tu administrador que le otorgue el rol de IAM de Visualizador de datos de BigQuery (roles/bigquery.dataViewer) en la tabla, el conjunto de datos o el proyecto.

   Nota: Solo puedes otorgar acceso a recursos existentes. A menos que planees exportar la información del trabajo a una tabla o un conjunto de datos preexistentes, debes otorgar este acceso en el proyecto o después de exportar la información del trabajo.

Cómo exportar información de trabajos

En esta sección, se explica cómo exportar información de trabajos con el flujo de trabajo de export-jobs, que proviene de la muestra de código export-to-bigquery. El flujo de trabajo de exportación de trabajos exporta la información de los trabajos de tu proyecto que se encuentran en la región especificada y cumplen con los criterios de filtro especificados.

Importante: El flujo de trabajo de exportación de trabajos solo puede exportar información de trabajos de una región a la vez. Si deseas exportar información de trabajos en varias regiones o varios subconjuntos en una región, configura, crea, implementa y ejecuta un flujo de trabajo dedicado a los trabajos de exportación para cada caso de uso.

Te recomendamos que crees flujos de trabajo exclusivos para cada caso de uso. Aunque puedes modificar y volver a ejecutar un solo flujo de trabajo, los flujos de trabajo dedicados facilitan el seguimiento de cuándo exportaste por última vez qué trabajos y de programar flujos de trabajo para exportar tus trabajos automáticamente.

El flujo de trabajo de exportación de trabajos exporta la información de los trabajos a una tabla especificada en un conjunto de datos especificado, que el flujo de trabajo crea automáticamente si aún no existen en tu proyecto. De forma predeterminada, el flujo de trabajo de exportación de trabajos también borra los trabajos exportados de Batch, pero puedes editar el flujo de trabajo de exportación de trabajos para que no los borre.

Para cada flujo de trabajo de exportación de trabajos que quieras usar, haz lo siguiente:

1. Configura la definición del flujo de trabajo.
2. Crea e implementa el flujo de trabajo.
3. Ejecuta el flujo de trabajo. Repite este paso cada vez que quieras exportar las tareas especificadas.

Configura la definición del flujo de trabajo

1. Descarga el archivo export-to-bigquery-delete-batch-jobs.yaml desde GitHub.

2. Abre el archivo export-to-bigquery-delete-batch-jobs.yaml en un editor de texto. Luego, realiza las siguientes modificaciones:

   1. Reemplaza sys.get_env("GOOGLE_CLOUD_PROJECT_ID") por el ID de tu proyecto con formato de cadena, por ejemplo, "my-project-id".

   2. Reemplaza sys.get_env("GOOGLE_CLOUD_LOCATION") por la región que contiene los trabajos que deseas exportar, con formato de cadena, por ejemplo, "us-central1".

   3. Opcional: Edita los criterios de filtro que especifican qué trabajos exportar.

      De forma predeterminada, el flujo de trabajo de export-jobs especifica los criterios de filtro "(status.state:SUCCEEDED OR status.state:FAILED) AND create_time<=\"2023-05-01T00:00:00Z\"". Este criterio de filtro predeterminado exporta información solo para los trabajos que se encuentran en el estado SUCCEEDED o FAILED y que se crearon antes de la marca de tiempo 2023-05-01T00:00:00Z RFC 3339 o por esta.

   4. Opcional: Reemplaza default_dataset_id por un nombre diferente para el conjunto de datos que deseas que el flujo de trabajo de trabajos de exportación use o cree.

   5. Opcional: Reemplaza default_table_id por un nombre diferente de la tabla que deseas que el flujo de trabajo de exportación de trabajos use o cree.

   6. Si no quieres que el flujo de trabajo borre los trabajos exportados, haz lo siguiente:

      Nota: Si no borras los trabajos exportados, volver a ejecutar el mismo flujo de trabajo de trabajos de exportación podría crear filas duplicadas. Si quieres evitar esto, puedes actualizar los criterios del filtro create_time antes de cada nueva ejecución para incluir solo las tareas que se crearon después de la ejecución anterior. Para obtener información sobre cómo ver cuándo se ejecutó un flujo de trabajo anteriormente, consulta Cómo acceder a los resultados de la ejecución de un flujo de trabajo.

      1. Quita las siguientes líneas:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Quita + " and deleted".

   7. Guarda el archivo. Mantén el archivo abierto.

Crea e implementa el flujo de trabajo

1. En la consola de Google Cloud, ve a la página Workflows.

   Ir a Workflows

2. En la página Flujos de trabajo, haz clic en Crear.

3. En el campo Nombre del flujo de trabajo, ingresa un nombre para el flujo de trabajo, por ejemplo, export-batch-jobs-us-central1.

4. En la lista Cuenta de servicio, selecciona la cuenta de servicio que preparaste.

5. Haz clic en Siguiente.

6. En el editor de flujos de trabajo, reemplaza el flujo de trabajo de ejemplo por el contenido del archivo export-to-bigquery-delete-batch-jobs.yaml. Luego, puedes cerrar el archivo.

7. Haz clic en Implementar. Se abrirá la página Detalles del flujo de trabajo.

Ejecuta el flujo de trabajo

Sugerencia: Si deseas ejecutar automáticamente el flujo de trabajo de exportación de trabajos, consulta Programa un flujo de trabajo con Cloud Scheduler en la documentación de Workflows. Por ejemplo, como cada trabajo se borra automáticamente 60 días después de que finaliza, puedes exportar todos tus trabajos (que no se borran de forma manual) programando uno o más flujos de trabajo de exportación de trabajos para exportar y borrar trabajos cada 59 días.

1. En la página Detalles del flujo de trabajo, haz clic en Ejecutar. Se abrirá la página Ejecutar flujo de trabajo.

2. En la página Ejecutar flujo de trabajo que se abre, haz clic en Ejecutar.

3. En la página Detalles de la ejecución que se abre, espera a que el flujo de trabajo termine de ejecutarse. Por ejemplo, el tiempo de ejecución para exportar y borrar algunos trabajos suele ser de unos segundos, pero la ejecución puede tardar más si exportas y borras muchos trabajos.

   Cuando se termina de ejecutar el flujo de trabajo, el panel Resultado muestra los resultados.

Cómo ver la información del trabajo exportado

En esta sección, se muestra cómo ver los datos de la tabla que crea el flujo de trabajo de trabajos de exportación. Por ejemplo, puedes usar los siguientes pasos para verificar que el flujo de trabajo se ejecutó correctamente y explorar los datos de la tabla. Para obtener más información sobre cómo ver y usar la información de los trabajos exportados, como escribir consultas, consulta Cómo administrar datos de tablas en la documentación de BigQuery.

1. En la consola de Google Cloud, ve a la página de BigQuery:

   Ir a BigQuery

2. En el panel Explorador, abre la tabla de la información de tu trabajo exportado:

   1. En el campo Buscar recursos de BigQuery, ingresa el nombre de la tabla de tu flujo de trabajo de trabajos de exportación. Por ejemplo, el nombre de la tabla predeterminado es default_table_id.
   2. Haz clic en el nombre de la tabla. Se abrirá la página de detalles de la tabla.

   3. En la página de detalles de la tabla, haz clic en la pestaña Detalles.

      En la pestaña Detalles, toma nota de la marca de tiempo Última modificación y del Número de filas.

   4. En la página de detalles de la tabla, haz clic en la pestaña Vista previa.

¿Qué sigue?

• Obtén más información sobre Workflows.
• Obtén más información sobre BigQuery.
• Obtén más información sobre Batch:
  • Cómo ver los trabajos de tu proyecto
  • Cómo borrar trabajos
  • Cómo crear otro trabajo