Usa una cola de Cloud Tasks para almacenar en búfer las ejecuciones de tu flujo de trabajo

---

En este instructivo, se muestra cómo crear una cola de Cloud Tasks que pueda regular la velocidad de las ejecuciones de flujos de trabajo.

Hay una cantidad máxima de ejecuciones de flujo de trabajo activas que pueden ocurrir de forma simultánea. Una vez que se agote esta cuota y si se inhabilita el aplazamiento de ejecuciones o si se alcanza la cuota de ejecuciones aplazadas, las ejecuciones nuevas fallarán con un código de estado HTTP 429 Too many requests. Si habilitas una cola de Cloud Tasks para que ejecute flujos de trabajo secundarios a una velocidad que defines, puedes evitar problemas relacionados con la cuota de Workflows y lograr una mejor tasa de ejecución.

Ten en cuenta que Cloud Tasks está diseñado para proporcionar una entrega “al menos una vez”. Sin embargo, Workflows no garantiza el procesamiento exactamente una vez de las solicitudes duplicadas de Cloud Tasks.

En el siguiente diagrama, un flujo de trabajo superior invoca flujos de trabajo secundarios que están regulados por una lista de tareas en cola de Cloud Tasks a la que se le aplicó una tasa de envío.

Objetivos

En este instructivo, realizarás las siguientes acciones:

1. Crea una cola de Cloud Tasks que actúe como intermediario entre los flujos de trabajo superiores y secundarios.
2. Crear e implementar un flujo de trabajo secundario que reciba datos del flujo de trabajo superior
3. Crea y, luego, implementa el flujo de trabajo superior que ejecuta el flujo de trabajo secundario a través de la cola de Cloud Tasks.
4. Ejecuta el flujo de trabajo superior sin un límite de frecuencia de envío, que invoca ejecuciones del flujo de trabajo secundario.
5. Aplica un límite de envío a la cola de Cloud Tasks y ejecuta el flujo de trabajo superior.
6. Observa que los flujos de trabajo secundarios se ejecutan a la velocidad definida a través de la fila de Cloud Tasks.

Puedes ejecutar los siguientes comandos en la consola de Google Cloud o con Google Cloud CLI en la terminal o en Cloud Shell.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Cloud Tasks
• Workflows

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

Es posible que las restricciones de seguridad que define tu organización no te permitan completar los siguientes pasos. Para obtener información sobre la solución de problemas, consulta Desarrolla aplicaciones en un entorno de Google Cloud restringido.

Console

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Tasks, Compute Engine, and Workflows APIs.

   Enable the APIs

8. En la consola de Google Cloud, ve a la página IAM para configurar los permisos de la cuenta de servicio predeterminada de Compute Engine.

   Ir a IAM

   Toma nota de la cuenta de servicio predeterminada de Compute Engine, ya que la asociarás con los flujos de trabajo de este instructivo con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio de Google Cloud que use Compute Engine, y con el siguiente formato de correo electrónico:

   [e-mail]

   Reemplaza PROJECT_NUMBER por el número de proyecto de Google Cloud. Puedes encontrar el número de proyecto en la página de bienvenida de la consola de Google Cloud.

   Para entornos de producción, recomendamos crear una cuenta de servicio nueva y otorgarle una o más funciones de IAM que contengan los permisos mínimos requeridos y seguir el principio de privilegio mínimo.

   Nota:

   Según la configuración de la política de la organización, es posible que a la cuenta de servicio predeterminada se le otorgue automáticamente el rol de editor en tu proyecto. Te recomendamos inhabilitar la concesión automática de roles; para ello, aplica la restricción de la política de la organización iam.automaticIamGrantsForDefaultServiceAccounts. Si creaste tu organización después del 3 de mayo de 2024, esta restricción se aplica de forma predeterminada.

   Si inhabilitas la concesión automática de roles, debes decidir qué roles se deben otorgar a las cuentas de servicio predeterminadas y, luego, otorgar estos roles a ti mismo.

   Si la cuenta de servicio predeterminada ya tiene el rol de editor, te recomendamos que reemplaces el rol de editor por roles menos permisivos. Para modificar de forma segura los roles de la cuenta de servicio, usa Policy Simulator para ver el impacto del cambio y, luego, otorga y revoca los roles adecuados.

9. Selecciona la cuenta de servicio predeterminada de Compute Engine y, en esa fila, haz clic en Editar principal.
10. En el cuadro de diálogo que aparece, haz clic en Agregar otro rol y agrega los siguientes roles:
    1. En la lista Seleccionar un rol, selecciona Workflows > Workflows Invoker para que la cuenta tenga permiso para activar la ejecución de tu flujo de trabajo.
    2. En la lista Seleccionar un rol, selecciona Cloud Tasks > Cloud Tasks Enqueuer para que la cuenta tenga permiso para crear tareas.
11. Haz clic en Guardar.

gcloud

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

   gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Cloud Tasks, Compute Engine, and Workflows APIs:

    gcloud services enable cloudtasks.googleapis.com compute.googleapis.com workflows.googleapis.com

12. Toma nota de la cuenta de servicio predeterminada de Compute Engine, ya que la asociarás con los flujos de trabajo de este instructivo con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio de Google Cloud que use Compute Engine, y con el siguiente formato de correo electrónico:

    [e-mail]

    Reemplaza PROJECT_NUMBER por el número de proyecto de Google Cloud. Para encontrar el número de proyecto, ejecuta el siguiente comando:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Para entornos de producción, recomendamos crear una cuenta de servicio nueva y otorgarle una o más funciones de IAM que contengan los permisos mínimos requeridos y seguir el principio de privilegio mínimo.

    Nota:

    Según la configuración de la política de la organización, es posible que a la cuenta de servicio predeterminada se le otorgue automáticamente el rol de editor en tu proyecto. Te recomendamos inhabilitar la concesión automática de roles; para ello, aplica la restricción de la política de la organización iam.automaticIamGrantsForDefaultServiceAccounts. Si creaste tu organización después del 3 de mayo de 2024, esta restricción se aplica de forma predeterminada.

    Si inhabilitas la concesión automática de roles, debes decidir qué roles se deben otorgar a las cuentas de servicio predeterminadas y, luego, otorgar estos roles a ti mismo.

    Si la cuenta de servicio predeterminada ya tiene el rol de editor, te recomendamos que reemplaces el rol de editor por roles menos permisivos. Para modificar de forma segura los roles de la cuenta de servicio, usa Policy Simulator para ver el impacto del cambio y, luego, otorga y revoca los roles adecuados.

13. Otorga el rol de invocador de Workflows (roles/workflows.invoker) del proyecto a la cuenta de servicio predeterminada de Compute Engine para que la cuenta tenga permiso para activar la ejecución de tu flujo de trabajo.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/workflows.invoker

    Reemplaza lo siguiente:

    • PROJECT_ID: El ID del proyecto de Google Cloud
    • PROJECT_NUMBER: El número de proyecto de Google Cloud

14. Otorga el rol de Enqueuer de Cloud Tasks (roles/cloudtasks.enqueuer) del proyecto a la cuenta de servicio predeterminada de Compute Engine para que la cuenta tenga permiso para crear tareas.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudtasks.enqueuer

Crea una cola de Cloud Tasks

Crea una cola de Cloud Tasks que puedas usar en el flujo de trabajo superior y que te permita regular la velocidad de las ejecuciones del flujo de trabajo.

Console

1. En la consola de Google Cloud, ve a la página Cloud Tasks:

   Ir a Cloud Tasks

2. Haz clic en Crear cola de envío.

3. Ingresa el Nombre de la cola, queue-workflow-child.

4. En la lista Región, selecciona us-central1 (Iowa).

5. Haz clic en Crear.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Crea e implementa un flujo de trabajo secundario

Un flujo de trabajo secundario puede recibir y procesar datos de un flujo de trabajo superior. Crea e implementa un flujo de trabajo secundario que haga lo siguiente:

• Recibe un iteration como argumento.
• Suspende la consola durante 10 segundos para simular un procesamiento.

• Muestra una cadena cuando la ejecución se realiza correctamente.

Console

1. En la consola de Google Cloud, ve a la página Flujos de trabajo.

   Ir a Workflows

2. Haz clic en  Crear.

3. Ingresa el nombre, workflow-child, para el flujo de trabajo nuevo.

4. En la lista Región, selecciona us-central1 (Iowa).

5. En la lista Cuenta de servicio, selecciona la cuenta de servicio predeterminada de Compute Engine.

6. Haz clic en Siguiente.

7. En el editor de flujos de trabajo, ingresa la siguiente definición para tu flujo de trabajo:

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

8. Haz clic en Implementar.

gcloud

1. Crea un archivo de código fuente para tu flujo de trabajo:

   touch workflow-child.yaml

2. Abre el archivo de código fuente en un editor de texto y copia el siguiente flujo de trabajo en el archivo.

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - return_message:
           return: ${"Hello world"+iteration}

3. Implementa el flujo de trabajo:

   gcloud workflows deploy workflow-child \
       --source=workflow-child.yaml \
       --location=us-central1 \
       --service-account=[e-mail]

Crea e implementa el flujo de trabajo superior

El flujo de trabajo superior ejecuta varias ramas del flujo de trabajo secundario con un bucle for.

1. Copia el código fuente que define el flujo de trabajo superior:

   main:
     steps:
       - init:
           assign:
             - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
             - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
             - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
             - workflow_child_name: "workflow-child"
             - queue_name: "queue-workflow-child"
       - enqueue_tasks_to_execute_child_workflow:
           for:
             value: iteration
             range: [1, 100]
             steps:
                 - iterate:
                     assign:
                       - data:
                           iteration: ${iteration}
                       - exec:
                           # Encode object to JSON string in expression for workflow argument
                           argument: ${json.encode_to_string(data)}
                 - create_task_to_execute_child_workflow:
                     call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                     args:
                         parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                         body:
                           task:
                             httpRequest:
                               body: ${base64.encode(json.encode(exec))}
                               url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                               oauthToken:
                                 serviceAccountEmail: ${project_number + "[e-mail]"}

   El flujo de trabajo consta de las siguientes partes:

   • Es un mapa que se usa para asignar constantes que hacen referencia al flujo de trabajo secundario y al nombre de la cola de Cloud Tasks. Para obtener más información, consulta Maps.

   • Un bucle for que se ejecuta para invocar el flujo de trabajo secundario de forma iterativa. Para obtener más información, consulta Iteración.

   • Un paso de flujo de trabajo que crea y agrega una gran cantidad de tareas a la fila de Cloud Tasks para ejecutar el flujo de trabajo secundario. Para obtener más información, consulta el conector de la API de Cloud Tasks.

2. Implementa el flujo de trabajo:

   Console

   1. En la consola de Google Cloud, ve a la página Flujos de trabajo:

      Ir a Workflows

   2. Haz clic en  Crear.

   3. Ingresa el nombre, workflow-parent, para el flujo de trabajo nuevo.

   4. En la lista Región, selecciona us-central1 (Iowa).

   5. En la lista Cuenta de servicio, selecciona la cuenta de servicio predeterminada de Compute Engine.

   6. Haz clic en Siguiente.

   7. En el editor de flujos de trabajo, pega la definición del flujo de trabajo superior.

   8. Haz clic en Implementar.

   gcloud

   1. Crea un archivo de código fuente para tu flujo de trabajo:

      touch workflow-parent.yaml

   2. Abre el archivo de código fuente en un editor de texto y pega la definición del flujo de trabajo superior.

   3. Implementa el flujo de trabajo:

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=[e-mail]

Ejecuta el flujo de trabajo superior sin límites de frecuencia

Ejecuta el flujo de trabajo superior para invocar los flujos de trabajo secundarios a través de la lista de tareas en cola de Cloud Tasks. Las ejecuciones deberían tardar unos 10 segundos en completarse.

Console

1. En la consola de Google Cloud, ve a la página Flujos de trabajo:

   Ir a Workflows

2. En la página Flujos de trabajo, haz clic en el flujo de trabajo workflow-parent para ir a su página de detalles.

3. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

4. Haz clic de nuevo en Ejecutar.

5. Mientras se ejecuta el flujo de trabajo superior, vuelve a la página Flujo de trabajo y haz clic en el flujo de trabajo workflow-child para ir a su página de detalles.

6. Haz clic en la pestaña Ejecuciones.

   Deberías ver ejecuciones del flujo de trabajo secundario que se ejecutan al mismo tiempo, de manera similar al siguiente ejemplo:

   

gcloud

1. Ejecuta el flujo de trabajo:

   gcloud workflows run workflow-parent \
        --location=us-central1

2. Para verificar que se activó una ejecución de flujo de trabajo, enumera las últimas cuatro ejecuciones:

   gcloud workflows executions list workflow-child --limit=4

   Dado que la cantidad de ejecuciones (100 ) está por debajo del límite de simultaneidad de Workflows, los resultados deberían ser similares a los siguientes. Es posible que surjan problemas de cuota si envías miles de ejecuciones al mismo tiempo.

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:15.093934448Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.903007626Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.698260524Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
   STATE: ACTIVE
   START_TIME: 2023-07-27T00:56:14.503818840Z
   END_TIME: 

Creaste e implementaste un flujo de trabajo que invoca 100 imágenes del flujo de trabajo secundario.

Ejecuta el flujo de trabajo superior con límites de frecuencia

Aplica un límite de frecuencia de un envío por segundo a la fila de Cloud Tasks y, luego, ejecuta el flujo de trabajo superior.

Console

1. En la consola de Google Cloud, ve a la página Cloud Tasks:

   Ir a Cloud Tasks

2. Haz clic en queue-workflow-child, la cola de Cloud Tasks que creaste, y haz clic en Editar cola.

3. En la sección Límite de frecuencia para envío de tareas, en el campo Envíos máximos, escribe 1.

4. Haz clic en Guardar.

5. Ve a la página Workflows:

   Ir a Workflows

6. Haz clic en el flujo de trabajo workflow-parent para ir a su página de detalles.

7. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

8. Haz clic de nuevo en Ejecutar.

9. Mientras se ejecuta el flujo de trabajo superior, vuelve a la página Flujo de trabajo y haz clic en el flujo de trabajo workflow-child para ir a su página de detalles.

10. Haz clic en la pestaña Ejecuciones.

    Deberías ver ejecuciones del flujo de trabajo secundario, que se ejecutan a una solicitud por segundo, de manera similar a la siguiente:

    

gcloud

1. Actualiza la cola de Cloud Tasks para aplicar un límite de frecuencia de un envío por segundo:

   gcloud tasks queues update $QUEUE \
       --max-dispatches-per-second=1 \
       --location=us-central1

2. Ejecuta el flujo de trabajo:

   gcloud workflows run workflow-parent \
      --location=us-central1

3. Para verificar que se activó una ejecución de flujo de trabajo, enumera las últimas cuatro ejecuciones:

   gcloud workflows executions list workflow-child --limit=4

   Los resultados deberían ser similares al siguiente, con un flujo de trabajo ejecutado por segundo:

   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:24.446361457Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:23.448213989Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:22.431485914Z
   END_TIME:
   NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
   STATE: ACTIVE
   START_TIME: 2023-07-27T01:07:21.443466369Z
   END_TIME: 

Implementaste correctamente un flujo de trabajo que invoca 100 imágenes del flujo de trabajo secundario con una tasa de envío de una ejecución por segundo.

Realiza una limpieza

Si creaste un proyecto nuevo para este instructivo, bórralo. Si usaste un proyecto existente y deseas conservarlo sin los cambios que se agregaron en este instructivo, borra los recursos creados para el instructivo.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, haz lo siguiente:

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimina recursos de instructivos

Borra los flujos de trabajo y los recursos de Cloud Tasks que creaste en este instructivo:

Console

• Para borrar los flujos de trabajo, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Flujos de trabajo:

     Ir a Workflows

  2. En la lista de flujos de trabajo, haz clic en uno para ir a su página Detalles del flujo de trabajo.

  3. Haz clic en Borrar.

  4. Escribe el nombre del flujo de trabajo y, luego, haz clic en Confirmar.

• Para borrar la cola de Cloud Tasks, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Cloud Tasks:

     Ir a Cloud Tasks

  2. Selecciona la cola que deseas borrar y haz clic en Borrar cola.

  3. Confirma la acción.

gcloud

• Para borrar los flujos de trabajo, ejecuta estos comandos:

  gcloud workflows delete workflow-child
  gcloud workflows delete workflow-parent

• Para borrar la cola de Cloud Tasks, ejecuta este comando:

  gcloud tasks queues delete queue-workflow-child

¿Qué sigue?

• Para obtener más información sobre cómo usar Cloud Tasks para poner en cola un flujo de trabajo y ejecutarlo de forma asíncrona, consulta Cómo poner en cola ejecuciones de flujos de trabajo con Cloud Tasks.
• Para obtener más información sobre la sintaxis de Workflows, consulta la referencia de sintaxis de Workflows.