Usa una cola de Cloud Tasks para almacenar en búfer las ejecuciones de tu flujo de trabajo

---

En este instructivo, se muestra cómo crear una cola de Cloud Tasks que pueda regular la velocidad de las ejecuciones de flujos de trabajo.

Hay una cantidad máxima de ejecuciones de flujo de trabajo activas que pueden ocurrir de forma simultánea. Una vez que se agote esta cuota backlogging de ejecución se inhabilita o, si se alcanza la cuota de ejecuciones pendientes, se crea las ejecuciones fallan con un código de estado HTTP 429 Too many requests. Al habilitar un Cloud Tasks pone en cola los flujos de trabajo secundarios a la velocidad que tú definir, puedes evitar problemas relacionados con las cuotas de Workflows y lograr una mejor tasa de ejecución.

Ten en cuenta que Cloud Tasks está diseñado para proporcionar una entrega “al menos una vez”. Sin embargo, Workflows no garantiza el procesamiento exactamente una vez de las solicitudes duplicadas de Cloud Tasks.

En el siguiente diagrama, un flujo de trabajo superior invoca flujos de trabajo secundarios que están regulados por una lista de tareas en cola de Cloud Tasks a la que se le aplicó una tasa de envío.

Objetivos

En este instructivo, realizarás las siguientes acciones:

1. Crear una cola de Cloud Tasks que actúe como intermediaria entre los flujos de trabajo superiores y los secundarios.
2. Crear e implementar un flujo de trabajo secundario que reciba datos del flujo de trabajo superior
3. Crear e implementar el flujo de trabajo superior que ejecuta el flujo de trabajo secundario a través de la cola de Cloud Tasks.
4. Ejecuta el flujo de trabajo superior sin un límite de frecuencia de envío, que invoca ejecuciones del flujo de trabajo secundario.
5. Aplica un límite de despacho a la cola de Cloud Tasks y ejecuta la flujo de trabajo superior.
6. Observa que los flujos de trabajo secundarios se ejecutan al ritmo definido a través del Lista de tareas en cola de Cloud Tasks.

Puedes ejecutar los siguientes comandos en la consola de Google Cloud o con Google Cloud CLI en la terminal o en Cloud Shell.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Cloud Tasks
• Workflows

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

Es posible que las restricciones de seguridad que define tu organización no te permitan completar los siguientes pasos. Para obtener información sobre la solución de problemas, consulta Desarrolla aplicaciones en un entorno de Google Cloud restringido.

Console

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

8. En la consola de Google Cloud, ve a la página IAM para configurar permisos para la instancia de Compute Engine cuenta de servicio predeterminada.

   Ir a IAM

   Toma nota de la documentación de Compute Engine cuenta de servicio predeterminada, tal como la asociarás con los flujos de trabajo este instructivo con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio de Google Cloud que use Compute Engine, y con el siguiente formato de correo electrónico:

   [e-mail]

   Reemplaza PROJECT_NUMBER por tu Número del proyecto de Google Cloud. Puedes encontrar el número de tu proyecto en la Te damos la bienvenida de la consola de Google Cloud.

   Para entornos de producción, recomendamos crear una cuenta de servicio nueva y otorgarle una o más funciones de IAM que contengan los permisos mínimos requeridos y seguir el principio de privilegio mínimo.

   Nota:

   Según la configuración de la política de la organización, es posible que a la cuenta de servicio predeterminada se le otorgue automáticamente el rol de editor en tu proyecto. Te recomendamos inhabilitar la concesión automática de roles; para ello, aplica la restricción de la política de la organización iam.automaticIamGrantsForDefaultServiceAccounts. Si creaste tu organización después del 3 de mayo de 2024, esta restricción se aplica de forma predeterminada.

   Si inhabilitas la concesión automática de roles, debes decidir qué roles se deben otorgar a las cuentas de servicio predeterminadas y, luego, otorgar estos roles a ti mismo.

   Si la cuenta de servicio predeterminada ya tiene el rol de editor, te recomendamos que reemplaces el rol de editor por roles menos permisivos. Para modificar de forma segura los roles de la cuenta de servicio, usa Policy Simulator para ver el impacto del cambio y, luego, otorga y revoca los roles adecuados.

9. Selecciona la cuenta de servicio predeterminada de Compute Engine y, en esa fila, haz clic en Editar principal.
10. En el cuadro de diálogo que aparece, haz clic en Agregar otro rol y agrega los siguientes roles:
    1. En la lista Selecciona un rol, Workflows > Invocador de Workflows para que la tiene permiso para activar la ejecución de su flujo de trabajo.
    2. En la lista Seleccionar un rol, selecciona Cloud Tasks > Cloud Tasks Enqueuer para que la cuenta tenga permiso para crear tareas.
11. Haz clic en Guardar.

gcloud

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

   gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

12. Toma nota de la documentación de Compute Engine cuenta de servicio predeterminada, tal como la asociarás con los flujos de trabajo este instructivo con fines de prueba. Esta cuenta de servicio se crea una vez que se habilita o usa un servicio de Google Cloud que usa Compute Engine y el siguiente formato de correo electrónico:

    [e-mail]

    Reemplaza PROJECT_NUMBER por tu Número del proyecto de Google Cloud. Puedes buscar el número de tu proyecto mediante la ejecución del siguiente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Para entornos de producción, recomendamos crear una cuenta de servicio nueva y otorgarle una o más funciones de IAM que contengan los permisos mínimos requeridos y seguir el principio de privilegio mínimo.

    Nota:

    Según la configuración de la política de la organización, es posible que a la cuenta de servicio predeterminada se le otorgue automáticamente el rol de editor en tu proyecto. Te recomendamos inhabilitar la concesión automática de roles; para ello, aplica la restricción de la política de la organización iam.automaticIamGrantsForDefaultServiceAccounts. Si creaste tu organización después del 3 de mayo de 2024, esta restricción se aplica de forma predeterminada.

    Si inhabilitas la concesión automática de roles, debes decidir qué roles se deben otorgar a las cuentas de servicio predeterminadas y, luego, otorgar estos roles a ti mismo.

    Si la cuenta de servicio predeterminada ya tiene el rol de editor, te recomendamos que reemplaces el rol de editor por roles menos permisivos. Para modificar de forma segura los roles de la cuenta de servicio, usa Policy Simulator para ver el impacto del cambio y, luego, otorga y revoca los roles adecuados.

13. Otorga el Función de invocador de flujos de trabajo (roles/workflows.invoker) del proyecto al de Compute Engine para que la cuenta tenga permiso para activar la ejecución del flujo de trabajo.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/workflows.invoker

    Reemplaza lo siguiente:

    • PROJECT_ID: El ID del proyecto de Google Cloud
    • PROJECT_NUMBER: El número de proyecto de Google Cloud

14. Otorga el rol de Enqueuer de tareas de Cloud Tasks (roles/cloudtasks.enqueuer) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que la cuenta tenga permiso para crear tareas.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudtasks.enqueuer

Crea una cola de Cloud Tasks

Crea una cola de Cloud Tasks que puedas usar en el nivel superior y que permite regular la frecuencia de ejecución del flujo de trabajo.

Console

1. En la consola de Google Cloud, ve a la página Cloud Tasks:

   Ir a Cloud Tasks

2. Haz clic en Crear cola de envío.

3. Ingresa el Nombre de la cola, queue-workflow-child.

4. En la lista Región, selecciona us-central1 (Iowa).

5. Haz clic en Crear.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Crea e implementa un flujo de trabajo secundario

Un flujo de trabajo secundario puede recibir y procesar datos de un flujo de trabajo superior. Crea e implementa un flujo de trabajo secundario que haga lo siguiente:

• Recibe un iteration como argumento.
• Se suspende durante 10 segundos para simular un procesamiento.

• Devuelve una cadena cuando se ejecuta correctamente

Console

1. En la consola de Google Cloud, ve a la página Flujos de trabajo.

   Ir a Workflows

2. Haz clic en  Crear.

3. Ingresa el nombre, workflow-child, para el flujo de trabajo nuevo.

4. En la lista Región, selecciona us-central1 (Iowa).

5. En la lista Cuenta de servicio, selecciona la Cuenta de servicio predeterminada de Compute Engine.

6. Haz clic en Siguiente.

7. En el editor de flujos de trabajo, ingresa la siguiente definición para tu flujo de trabajo:

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

8. Haz clic en Implementar.

gcloud

1. Crea un archivo de código fuente para tu flujo de trabajo:

   touch workflow-child.yaml

2. Abre el archivo de código fuente en un editor de texto y copia el siguiente flujo de trabajo en el archivo.

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

3. Implementa el flujo de trabajo:

   gcloud workflows deploy workflow-child \
       --source=workflow-child.yaml \
       --location=us-central1 \
       --service-account=[e-mail]

Crea e implementa el flujo de trabajo superior

El flujo de trabajo superior ejecuta varias ramas del flujo de trabajo secundario con un bucle for.

1. Copia el código fuente que define el flujo de trabajo superior:

   main:
     steps:
       - init:
           assign:
             - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
             - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
             - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
             - workflow_child_name: "workflow-child"
             - queue_name: "queue-workflow-child"
       - enqueue_tasks_to_execute_child_workflow:
           for:
             value: iteration
             range: [1, 100]
             steps:
                 - iterate:
                     assign:
                       - data:
                           iteration: ${iteration}
                       - exec:
                           # Encode object to JSON string in expression for workflow argument
                           argument: ${json.encode_to_string(data)}
                 - create_task_to_execute_child_workflow:
                     call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                     args:
                         parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                         body:
                           task:
                             httpRequest:
                               body: ${base64.encode(json.encode(exec))}
                               url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                               oauthToken:
                                 serviceAccountEmail: ${project_number + "[e-mail]"}

   El flujo de trabajo consta de las siguientes partes:

   • Es un mapa que se usa para asignar constantes que hacen referencia al flujo de trabajo secundario y al nombre de la cola de Cloud Tasks. Para obtener más información, consulta Maps.

   • Un bucle for que se ejecuta para invocar el flujo de trabajo secundario de forma iterativa. Para obtener más información, consulta Iteración.

   • Un paso del flujo de trabajo que crea y agrega una gran cantidad de tareas al Se pone en cola de Cloud Tasks el flujo de trabajo secundario. Para obtener más información, consulta el conector de la API de Cloud Tasks.

2. Implementa el flujo de trabajo:

   Console

   1. En la consola de Google Cloud, ve a Workflows página:

      Ir a Workflows

   2. Haz clic en  Crear.

   3. Ingresa el nombre, workflow-parent, para el flujo de trabajo nuevo.

   4. En la lista Región, selecciona us-central1 (Iowa).

   5. En la lista Cuenta de servicio, selecciona la Cuenta de servicio predeterminada de Compute Engine.

   6. Haz clic en Siguiente.

   7. En el editor de flujos de trabajo, pega la definición del flujo de trabajo superior.

   8. Haz clic en Implementar.

   gcloud

   1. Crea un archivo de código fuente para tu flujo de trabajo:

      touch workflow-parent.yaml

   2. Abre el archivo de código fuente en un editor de texto y pega la definición del flujo de trabajo superior.

   3. Implementa el flujo de trabajo:

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=[e-mail]

Ejecuta el flujo de trabajo superior sin límites de frecuencia

Ejecuta el flujo de trabajo superior para invocar los flujos de trabajo secundarios a través del Lista de tareas en cola de Cloud Tasks. Las ejecuciones deberían tardar alrededor de 10 segundos en completarse.

Console

1. En la consola de Google Cloud, ve a la página Flujos de trabajo:

   Ir a Workflows

2. En la página Flujos de trabajo, haz clic en el workflow-parent para ir a su página de detalles.

3. En la página Detalles del flujo de trabajo, haz clic en Ejecución.

4. Haz clic de nuevo en Ejecutar.

5. Mientras se ejecuta el flujo de trabajo superior, vuelve a la página Flujo de trabajo y haz clic en el flujo de trabajo workflow-child para ir a su página de detalles.

6. Haz clic en la pestaña Ejecuciones.

   Deberías ver ejecuciones del flujo de trabajo secundario que se ejecutan al mismo tiempo, de manera similar al siguiente ejemplo:

   

gcloud

1. Ejecuta el flujo de trabajo:

   gcloud workflows run workflow-parent \
        --location=us-central1

2. Para verificar que se activó la ejecución de un flujo de trabajo, enumera los últimos cuatro ejecuciones:

   gcloud workflows executions list workflow-child --limit=4

   Dado que la cantidad de ejecuciones (100 ) está por debajo del límite de simultaneidad de flujos de trabajo, los resultados deberían ser similares a los siguientes. Es posible que surjan problemas de cuota si envías miles de ejecuciones al mismo tiempo.

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:15.093934448Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.903007626Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.698260524Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.503818840Z
   END_TIME: 

Creaste e implementaste un flujo de trabajo que invoca 100 imágenes del flujo de trabajo secundario.

Ejecuta el flujo de trabajo superior con límites de frecuencia

Aplica un límite de frecuencia de un envío por segundo a la fila de Cloud Tasks y, luego, ejecuta el flujo de trabajo superior.

Console

1. En la consola de Google Cloud, ve a la página Cloud Tasks:

   Ir a Cloud Tasks

2. Haz clic en queue-workflow-child, la cola de Cloud Tasks que creaste, y haz clic en Editar cola.

3. En la sección Límites de frecuencia para envíos de tareas, de la Máximo de envíos, tipo 1.

4. Haz clic en Guardar.

5. Ve a la página Recomendaciones:

   Ir a Workflows

6. Haz clic en el flujo de trabajo workflow-parent para ir a su página de detalles.

7. En la página Detalles del flujo de trabajo, haz clic en Ejecución.

8. Haz clic de nuevo en Ejecutar.

9. Mientras se ejecuta el flujo de trabajo superior, vuelve a la página Flujo de trabajo y haz clic en el flujo de trabajo workflow-child para ir a su página de detalles.

10. Haz clic en la pestaña Ejecuciones.

    Deberías ver ejecuciones del flujo de trabajo secundario en una sola solicitud por segundo, de la siguiente manera:

    

gcloud

1. Actualiza la cola de Cloud Tasks para aplicar un límite de frecuencia de un envío por segundo:

   gcloud tasks queues update $QUEUE \
       --max-dispatches-per-second=1 \
       --location=us-central1

2. Ejecuta el flujo de trabajo:

   gcloud workflows run workflow-parent \
      --location=us-central1

3. Para verificar que se activó una ejecución de flujo de trabajo, enumera las últimas cuatro ejecuciones:

   gcloud workflows executions list workflow-child --limit=4

   Los resultados deberían ser similares a los siguientes, con un flujo de trabajo ejecutado por segundo:

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:24.446361457Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:23.448213989Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:22.431485914Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:21.443466369Z
   END_TIME: 

Implementaste correctamente un flujo de trabajo que invoca 100 imágenes del flujo de trabajo secundario con una tasa de envío de una ejecución por segundo.

Limpia

Si creaste un proyecto nuevo para este instructivo, bórralo. Si usaste un proyecto existente y deseas conservarlo sin los cambios que se agregaron en este instructivo, borra los recursos creados para el instructivo.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, haz lo siguiente:

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimina recursos de instructivos

Borra los flujos de trabajo y los recursos de Cloud Tasks creados en esta instructivo:

Console

• Para borrar los flujos de trabajo, sigue estos pasos:

  1. En la consola de Google Cloud, ve a Workflows página:

     Ir a Workflows

  2. En la lista de flujos de trabajo, haz clic en un flujo de trabajo para ir a su Detalles del flujo de trabajo.

  3. Haz clic en Borrar.

  4. Escribe el nombre del flujo de trabajo y, luego, haz clic en Confirmar.

• Para borrar la cola de Cloud Tasks, sigue estos pasos:

  1. En la consola de Google Cloud, ve a Cloud Tasks página:

     Ir a Cloud Tasks

  2. Selecciona la cola que deseas borrar y haz clic en Borrar cola.

  3. Confirma la acción.

gcloud

• Para borrar los flujos de trabajo, ejecuta estos comandos:

  gcloud workflows delete workflow-child
  gcloud workflows delete workflow-parent

• Para borrar la cola de Cloud Tasks, ejecuta este comando:

  gcloud tasks queues delete queue-workflow-child

¿Qué sigue?

• Para obtener más información sobre cómo usar Cloud Tasks para poner en cola un flujo de trabajo y ejecútalo de forma asíncrona. Consulta Filtra ejecuciones de flujos de trabajo con Cloud Tasks.
• Para obtener más información sobre la sintaxis de Workflows, consulta la Referencia de sintaxis de Workflows.