Usar Eventarc para recibir eventos de Cloud Storage


En este tutorial se explica cómo desplegar una aplicación en contenedores mediante un servicio de Cloud Run autenticado que recibe eventos a través de Eventarc.

Si especificas filtros para un activador de Eventarc, puedes configurar el enrutamiento de eventos, incluida la fuente y el destino de los eventos. En este caso, una actualización de un segmento de Cloud Storage activa el evento y se envía una solicitud a tu servicio de Cloud Run en forma de solicitud HTTP.

Objetivos

En este tutorial, aprenderás a hacer lo siguiente:

  1. Crea un segmento de Cloud Storage que sea la fuente de eventos.

  2. Despliega un servicio de receptor de eventos en Cloud Run que requiera invocaciones autenticadas.

  3. Crea un activador de Eventarc que enrute los eventos del segmento de Cloud Storage al servicio de Cloud Run.

  4. Genera un evento subiendo un archivo al segmento de Cloud Storage y consulta el evento en los registros de Cloud Run.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos Google Cloud pueden disfrutar de una prueba gratuita.

Antes de empezar

Es posible que las restricciones de seguridad definidas por tu organización te impidan completar los siguientes pasos. Para obtener información sobre cómo solucionar problemas, consulta el artículo Desarrollar aplicaciones en un entorno limitado Google Cloud .

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  4. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  5. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Verify that billing is enabled for your Google Cloud project.

  7. Install the Google Cloud CLI.

  8. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  9. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  10. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Si no usas Cloud Shell, actualiza los componentes de la CLI de Google Cloud e inicia sesión con tu cuenta:
    gcloud components update
    gcloud auth login
  13. Habilita las APIs:
    gcloud services enable artifactregistry.googleapis.com \
        cloudbuild.googleapis.com \
        eventarc.googleapis.com \
        run.googleapis.com \
        storage.googleapis.com
  14. Defina las variables de configuración que se usan en este tutorial:
    export REGION=us-central1
    gcloud config set run/region ${REGION}
    gcloud config set run/platform managed
    gcloud config set eventarc/location ${REGION}
  15. Tú o tu administrador debéis conceder los siguientes roles de gestión de identidades y accesos a la cuenta de implementación, la identidad del activador y, opcionalmente, al agente de servicio de Pub/Sub.

    Roles necesarios para la cuenta de implementación

    1. Si has creado el proyecto, se te asignará el rol básico Propietario (roles/owner). De forma predeterminada, este rol de gestión de identidades y accesos (IAM) incluye los permisos necesarios para acceder por completo a la mayoría de los recursos Google Cloud, por lo que puedes saltarte este paso.

      Si no eres el creador del proyecto, debes conceder los permisos necesarios al principal correspondiente. Por ejemplo, un principal puede ser una cuenta de Google (para usuarios finales) o una cuenta de servicio (para aplicaciones y cargas de trabajo de computación). Para obtener más información, consulta la página Roles y permisos de tu destino de evento.

      Para obtener los permisos que necesitas para completar este tutorial, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tu proyecto:

      Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

      También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

      Ten en cuenta que, de forma predeterminada, los permisos de Cloud Build incluyen permisos para subir y descargar artefactos de Artifact Registry.

    Roles necesarios para la identidad del activador

    1. Anota la cuenta de servicio predeterminada de Compute Engine, ya que la asociarás a un activador de Eventarc para representar la identidad del activador con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio que utilice Compute Engine y tiene el siguiente formato de correo electrónico: Google Cloud

      PROJECT_NUMBER-compute@developer.gserviceaccount.com

      Sustituye PROJECT_NUMBER por el número de tu proyecto. Google Cloud Puedes encontrar el número de tu proyecto en la página Bienvenido de la consola Google Cloud o ejecutando el siguiente comando:

      gcloud projects describe PROJECT_ID --format='value(projectNumber)'

      En los entornos de producción, te recomendamos que crees una cuenta de servicio y le asignes uno o varios roles de IAM que contengan los permisos mínimos necesarios y que sigas el principio de privilegio mínimo.

    2. De forma predeterminada, solo los propietarios y editores de proyectos, así como los administradores y los invocadores de Cloud Run, pueden llamar a los servicios de Cloud Run. Puedes controlar el acceso por servicio. Sin embargo, para hacer pruebas, otorga el rol Invocador de Cloud Run (run.invoker) en el proyecto Google Cloud a la cuenta de servicio de Compute Engine. Concede el rol en todos los servicios y trabajos de Cloud Run de un proyecto.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/run.invoker

      Ten en cuenta que, si creas un activador para un servicio de Cloud Run autenticado sin conceder el rol Invocador de Cloud Run, el activador se creará correctamente y estará activo. Sin embargo, el activador no funcionará como se espera y aparecerá un mensaje similar al siguiente en los registros:

      The request was not authenticated. Either allow unauthenticated invocations or set the proper Authorization header.
    3. Concede el rol Receptor de eventos de Eventarc (roles/eventarc.eventReceiver) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que el activador de Eventarc pueda recibir eventos de proveedores de eventos.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/eventarc.eventReceiver

    Rol opcional del agente de servicio de Pub/Sub

    • Si habilitaste el agente de servicio de Cloud Pub/Sub el 8 de abril del 2021 o antes para admitir solicitudes push de Pub/Sub autenticadas, asigna el rol Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio. De lo contrario, este rol se asigna de forma predeterminada:
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
          --role=roles/iam.serviceAccountTokenCreator
  16. Crear un repositorio estándar de Artifact Registry

    Crea un repositorio estándar de Artifact Registry para almacenar tu imagen de contenedor:

    gcloud artifacts repositories create REPOSITORY \
        --repository-format=docker \
        --location=$REGION

    Sustituye REPOSITORY por un nombre único para el repositorio.

    Crea un segmento de Cloud Storage

    Crea un segmento de Cloud Storage que se usará como fuente de eventos:

    gcloud storage buckets create gs://PROJECT_ID-bucket/ --location=us-central1

    Una vez que se haya creado el origen del evento, puedes desplegar el servicio receptor de eventos en Cloud Run.

    Desplegar un receptor de eventos en Cloud Run

    Despliega un servicio de Cloud Run que recibe y registra eventos.

    1. Clona el repositorio de GitHub:

      Node.js

      git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

      También puedes descargar el ejemplo como un archivo ZIP y extraerlo.

      Python

      git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

      También puedes descargar el ejemplo como un archivo ZIP y extraerlo.

      Go

      git clone https://github.com/GoogleCloudPlatform/golang-samples.git

      También puedes descargar el ejemplo como un archivo ZIP y extraerlo.

      Java

      git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git

      También puedes descargar el ejemplo como un archivo ZIP y extraerlo.

      C#

      git clone https://github.com/GoogleCloudPlatform/dotnet-docs-samples.git

      También puedes descargar el ejemplo como un archivo ZIP y extraerlo.

    2. Cambia al directorio que contiene el código de ejemplo de Cloud Run:

      Node.js

      cd nodejs-docs-samples/eventarc/audit-storage/

      Python

      cd python-docs-samples/eventarc/audit-storage/

      Go

      cd golang-samples/eventarc/audit_storage/

      Java

      cd java-docs-samples/eventarc/audit-storage/

      C#

      cd dotnet-docs-samples/eventarc/audit-storage/
    3. Crea el contenedor del servicio de Cloud Run:

      export PROJECT_ID=$(gcloud config get-value project)
      export SERVICE_NAME=helloworld-events
      gcloud builds submit --tag $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
    4. Despliega la imagen de contenedor en Cloud Run:

      gcloud run deploy ${SERVICE_NAME} \
          --image $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
    5. En la petición ¿Permitir acceso público a helloworld-events (s/N)?, responde n para indicar que no.

    Cuando veas la URL del servicio de Cloud Run, el despliegue se habrá completado.

    Crear un activador de Eventarc

    El activador de Eventarc envía eventos del segmento de Cloud Storage al servicio de Cloud Run helloworld-events. El servicio requiere autenticación y el evento debe activarlo una persona que tenga una cuenta de servicio con los roles y permisos de gestión de identidades y accesos necesarios para usar el recurso.

    1. Crea un activador que filtre eventos de Cloud Storage:

      gcloud eventarc triggers create ${SERVICE_NAME} \
          --destination-run-service=${SERVICE_NAME} \
          --destination-run-region=${REGION} \
          --location=${REGION} \
          --event-filters="type=google.cloud.storage.object.v1.finalized" \
          --event-filters="bucket=PROJECT_ID-bucket" \
          --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

      De esta forma, se crea un activador llamado helloworld-events.

      Ten en cuenta que, cuando crees un activador de Eventarc por primera vez en un proyecto de Google Cloud , puede haber un retraso en el aprovisionamiento del agente de servicio de Eventarc. Este problema suele resolverse intentando crear el activador de nuevo. Para obtener más información, consulta Errores de permiso denegado.

    2. Confirma que el activador se ha creado correctamente. Ten en cuenta que, aunque el activador se crea inmediatamente, puede tardar hasta dos minutos en estar totalmente operativo.

      gcloud eventarc triggers list --location=${REGION}

      La salida debería ser similar a la siguiente:

      NAME: helloworld-events
      TYPE: google.cloud.storage.object.v1.finalized
      DESTINATION: Cloud Run service: helloworld-events
      ACTIVE: Yes
      

    Generar y ver un evento

    Sube un archivo de texto al segmento de Cloud Storage para generar un evento que se enrute al servicio de Cloud Run. El servicio de Cloud Run registra el evento en los registros de servicio.

    1. Para generar un evento, sigue estos pasos:

      Sube un archivo de texto a Cloud Storage:

       echo "Hello World" > random.txt
       gcloud storage cp random.txt gs://PROJECT_ID-bucket/random.txt
      

      La subida genera un evento y el servicio de Cloud Run registra el mensaje del evento.

    2. Para ver la entrada de registro, sigue estos pasos:

      1. Filtra las entradas de registro y devuelve el resultado en formato JSON:

        gcloud logging read "resource.labels.service_name=helloworld-events AND textPayload:random.txt" --format=json
        
      2. Busca una entrada de registro similar a la siguiente:

        "textPayload": "Detected change in Cloud Storage bucket: objects/random.txt"
        

    Los registros pueden tardar unos instantes en aparecer. Si no los ves inmediatamente, vuelve a comprobarlo al cabo de un minuto.

    Limpieza

    Si has creado un proyecto para este tutorial, elimínalo. Si has usado un proyecto y quieres conservarlo sin los cambios añadidos en este tutorial, elimina los recursos creados para el tutorial.

    Eliminar el proyecto

    La forma más fácil de evitar que te cobren es eliminar el proyecto que has creado para el tutorial.

    Para ello, sigue las instrucciones que aparecen a continuación:

    1. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. In the project list, select the project that you want to delete, and then click Delete.
    3. In the dialog, type the project ID, and then click Shut down to delete the project.

    Eliminar recursos del tutorial

    1. Elimina el servicio de Cloud Run que has desplegado en este tutorial:

      gcloud run services delete SERVICE_NAME

      Donde SERVICE_NAME es el nombre del servicio que has elegido.

      También puedes eliminar servicios de Cloud Run desde la Google Cloud consola.

    2. Elimina las configuraciones predeterminadas de la CLI de gcloud que hayas añadido durante la configuración del tutorial.

      Por ejemplo:

      gcloud config unset run/region

      o

      gcloud config unset project

    3. Elimina otros recursos de Google Cloud que hayas creado en este tutorial:

      • Elimina el activador de Eventarc:
        gcloud eventarc triggers delete TRIGGER_NAME
        
        Sustituye TRIGGER_NAME por el nombre de tu activador.

    Siguientes pasos