Activar flujos de trabajo con eventos directos de Cloud Storage (CLI de gcloud)

En esta guía de inicio rápido se muestra cómo ejecutar un flujo de trabajo mediante un activador de Eventarc que recibe eventos de Cloud Storage.

El activador ejecuta el flujo de trabajo detectando un evento de creación de objetos en un segmento de Cloud Storage y transfiere el evento como un argumento de tiempo de ejecución a un flujo de trabajo de destino.

En esta guía de inicio rápido, harás lo siguiente:

  1. Crea un segmento de Cloud Storage como fuente de eventos.

  2. Usa Workflows para crear e implementar un flujo de trabajo que extraiga y devuelva el nombre del segmento de almacenamiento y el nombre de un archivo subido.

  3. Crea un activador de Eventarc que conecte el segmento de Cloud Storage con el receptor de eventos de Workflows.

  4. Genera un evento subiendo un archivo de texto al segmento de Cloud Storage. Este evento se transfiere como argumento de tiempo de ejecución al flujo de trabajo de destino.

  5. Ver el nombre del segmento y el nombre del archivo de texto como resultado de la ejecución del flujo de trabajo.


Para seguir las instrucciones paso a paso de esta tarea directamente en la Google Cloud consola, haga clic en Ayúdame:

Guíame


Antes de empezar

Es posible que las restricciones de seguridad definidas por tu organización te impidan completar los siguientes pasos. Para obtener información sobre cómo solucionar problemas, consulta el artículo Desarrollar aplicaciones en un entorno limitado Google Cloud .

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  4. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  5. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Verify that billing is enabled for your Google Cloud project.

  7. Install the Google Cloud CLI.

  8. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  9. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  10. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Habilita las APIs Compute Engine, Eventarc, Pub/Sub y Workflows.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

  13. Actualiza los componentes de gcloud:
    gcloud components update
  14. Inicia sesión con tu cuenta:
    gcloud auth login
  15. Definir las variables de entorno

    Define las variables de entorno que se usan en esta guía de inicio rápido.

    export PROJECT_ID=PROJECT_ID
    export WORKFLOW_LOCATION=us-central1
    export TRIGGER_LOCATION=us-central1
    gcloud config set project ${PROJECT_ID}
    gcloud config set workflows/location ${WORKFLOW_LOCATION}
    gcloud config set eventarc/location ${TRIGGER_LOCATION}
    

    Puedes encontrar el ID de tu proyecto en la página Bienvenido de la consola de Google Cloud .

    Configurar cuentas de servicio

    Concede los permisos necesarios a las cuentas de servicio que se usan en esta guía de inicio rápido.

    1. Si has creado el proyecto, se te asignará el rol básico Propietario (roles/owner). De forma predeterminada, este rol de gestión de identidades y accesos (IAM) incluye los permisos necesarios para acceder por completo a la mayoría de los recursos Google Cloud, por lo que puedes saltarte este paso.

      Si no eres el creador del proyecto, debes conceder los permisos necesarios al principal correspondiente. Por ejemplo, una entidad principal puede ser una cuenta de Google (para usuarios finales) o una cuenta de servicio (para aplicaciones y cargas de trabajo de computación). Para obtener más información, consulta la página Roles y permisos de tu destino de evento.

      Permisos obligatorios

      Para obtener los permisos que necesitas para completar esta guía de inicio rápido, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tu proyecto:

      Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

      También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

    2. Anota la cuenta de servicio predeterminada de Compute Engine, ya que la asociarás a un activador de Eventarc para representar la identidad del activador con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio que utiliza Compute Engine y tiene el siguiente formato de correo electrónico: Google Cloud

      PROJECT_NUMBER-compute@developer.gserviceaccount.com

      Sustituye PROJECT_NUMBER por el número de tu proyecto. Google Cloud Puedes encontrar el número de tu proyecto en la página Bienvenido de la consola Google Cloud o ejecutando el siguiente comando:

      gcloud projects describe PROJECT_ID --format='value(projectNumber)'

      En los entornos de producción, te recomendamos que crees una cuenta de servicio y le asignes uno o varios roles de IAM que contengan los permisos mínimos necesarios y que sigas el principio de privilegio mínimo.

    3. Concede el rol Receptor de eventos de Eventarc (roles/eventarc.eventReceiver) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que el activador de Eventarc pueda recibir eventos de proveedores de eventos.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/eventarc.eventReceiver
    4. Concede el rol Invocador de Workflows (roles/workflows.invoker) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que la cuenta tenga permiso para activar la ejecución del flujo de trabajo.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/workflows.invoker
    5. Concede el rol Escritor de registros de Logging (roles/logging.logWriter) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que el flujo de trabajo pueda enviar registros a Cloud Logging.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/logging.logWriter
    6. Antes de crear un activador para eventos directos de Cloud Storage, concede el rol Publicador de Pub/Sub (roles/pubsub.publisher) al agente de servicio de Cloud Storage:

      SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"
      
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member="serviceAccount:${SERVICE_ACCOUNT}" \
          --role='roles/pubsub.publisher'
    7. Si habilitaste el agente de servicio de Cloud Pub/Sub el 8 de abril del 2021 o antes para admitir solicitudes push de Pub/Sub autenticadas, asigna el rol Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio. De lo contrario, este rol se asigna de forma predeterminada:
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
          --role=roles/iam.serviceAccountTokenCreator

    Crea un segmento de Cloud Storage

    Crea un segmento de Cloud Storage que se usará como fuente de eventos:

      gcloud storage buckets create gs://${PROJECT_ID}-bucket --location=us-central1
    

    Crear y desplegar un flujo de trabajo

    Crea y despliega un flujo de trabajo que se ejecute cuando un objeto creado en el segmento de Cloud Storage active un flujo de trabajo con una solicitud HTTP.

    1. En tu directorio principal, crea un archivo llamado myEventWorkflow.yaml o myEventWorkflow.json.

    2. Copia y pega lo siguiente en el nuevo archivo y guárdalo:

      YAML

        main:
          params: [event]
          steps:
              - log_event:
                  call: sys.log
                  args:
                      text: ${event}
                      severity: INFO
              - extract_bucket_object:
                  assign:
                  - bucket: ${event.data.bucket}
                  - object: ${event.data.name}
              - return_bucket_object:
                      return:
                          bucket: ${bucket}
                          object: ${object}
        

      JSON

      {
      "main": {
      "params": [
        "event"
      ],
      "steps": [
        {
          "log_event": {
            "call": "sys.log",
            "args": {
              "text": "${event}",
              "severity": "INFO"
            }
          }
        },
        {
          "extract_bucket_object": {
            "assign": [
              {
                "bucket": "${event.data.bucket}"
              },
              {
                "object": "${event.data.name}"
              }
            ]
          }
        },
        {
          "return_bucket_object": {
            "return": {
              "bucket": "${bucket}",
              "object": "${object}"
            }
          }
        }
      ]
      }
      }
    3. Despliega el flujo de trabajo:

      export MY_WORKFLOW=myEventWorkflow
      gcloud workflows deploy ${MY_WORKFLOW} --source=myEventWorkflow.yaml
      

      Sustituye .yaml por .json si has copiado la versión JSON del flujo de trabajo de ejemplo.

    Crear un activador de Eventarc

    El activador de Eventarc envía eventos del segmento de Cloud Storage al destino de Workflows.

    1. Crea un activador que filtre eventos de Cloud Storage:

      gcloud eventarc triggers create storage-events-trigger \
          --destination-workflow=${MY_WORKFLOW} \
          --event-filters="type=google.cloud.storage.object.v1.finalized" \
          --event-filters="bucket=${PROJECT_ID}-bucket" \
          --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
      

      De esta forma, se crea un activador llamado storage-events-trigger.

      Ten en cuenta que, cuando crees un activador de Eventarc por primera vez en un proyecto de Google Cloud , puede haber un retraso en el aprovisionamiento del agente de servicio de Eventarc. Este problema suele resolverse intentando crear el activador de nuevo. Para obtener más información, consulta Errores de permiso denegado.

    2. Para confirmar que storage-events-trigger se ha creado correctamente, ejecuta el siguiente comando:

      gcloud eventarc triggers describe storage-events-trigger --location=${TRIGGER_LOCATION}
      

      La salida debería ser similar a la siguiente, que muestra la hora de creación y la ubicación del activador:

      createTime: '2021-10-14T15:15:43.872360951Z'
      [...]
      name: projects/PROJECT_ID/locations/us-central1/triggers/storage-events-trigger
      

    Generar y ver un evento

    1. Para generar un evento, sube un archivo de texto a Cloud Storage:

      echo "Hello World" > random.txt
      gcloud storage cp random.txt gs://${PROJECT_ID}-bucket/random.txt
      

      La subida genera un evento que se transfiere como argumento de tiempo de ejecución al flujo de trabajo, que devuelve los nombres del segmento de almacenamiento y del archivo subido.

    2. Para verificar que se ha activado la ejecución de un flujo de trabajo, enumera las cinco últimas ejecuciones:

      gcloud workflows executions list ${MY_WORKFLOW} --limit=5
      

      La salida debería ser similar a la siguiente, con un valor de NAME y STATE igual a SUCCEEDED para cada ejecución del flujo de trabajo:

      NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
      STATE: SUCCEEDED
      START_TIME: 2021-10-13T03:38:03.019148617Z
      END_TIME: 2021-10-13T03:38:03.249705805Z
      NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
      STATE: SUCCEEDED
      START_TIME: 2021-10-13T17:28:51.492864252Z
      END_TIME: 2021-10-13T17:28:52.227212414Z
      

      Tenga en cuenta que, en el campo NAME del ejemplo anterior, a6319d9d-36a6-4117-904e-3d1118bdc90a es el ID de la ejecución del flujo de trabajo. Copia el ID de ejecución, ya que lo usarás en el siguiente paso.

    3. Para ver el estado de la ejecución, ejecuta el siguiente comando:

      gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
      

      Sustituye WORKFLOW_EXECUTION_ID por el ID de la ejecución del flujo de trabajo que corresponda a la hora en la que se subió el archivo al bucket.

      El resultado debería ser similar al siguiente:

      argument: [...]
      name: projects/218898424763/locations/us-central1/workflows/myEventWorkflow/executions/86d2567b-0f1e-49b3-8b10-cdac5d0f6239
      result: '{"bucket":"PROJECT_ID-bucket","object":"random.txt"}'
      startTime: '2021-10-13T03:38:03.019148617Z'
      state: SUCCEEDED
      
    4. Verifica que la hora "timeCreated": "2021-10-13T03:38" en la que se actualizó el cubo de Cloud Storage y el startTime de la ejecución del flujo de trabajo coincidan.

    Enhorabuena, has generado correctamente un evento de Cloud Storage que ha activado un receptor de eventos de Workflows mediante Eventarc.

    Limpieza

    Para evitar que se apliquen cargos en tu Google Cloud cuenta por los recursos utilizados en esta página, elimina el Google Cloud proyecto con los recursos.

    1. Elimina el flujo de trabajo que has creado:

      gcloud workflows delete ${MY_WORKFLOW}
      

      Cuando se te pregunte si quieres continuar, escribe y.

    2. Elimina el segmento de almacenamiento:

      gcloud storage rm gs://${PROJECT_ID}-bucket/ --recursive
      
    3. Elimina el activador que has creado en este tutorial:

      gcloud eventarc triggers delete storage-events-trigger
      
    4. También puedes eliminar tu Google Cloud proyecto para evitar que se te cobren cargos. Al eliminar tu Google Cloud proyecto, se detendrá la facturación de todos los recursos utilizados en ese proyecto.

      Delete a Google Cloud project:

      gcloud projects delete PROJECT_ID

    Siguientes pasos