Enruta eventos de Dataproc Metastore a Workflows

Un activador de Eventarc declara tu interés en un evento o conjunto de eventos determinado. Si deseas configurar el enrutamiento del evento, establece filtros para el activador, lo que incluye al origen del evento y al flujo de trabajo de destino.

Los eventos se entregan en el formato de CloudEvents a través de una solicitud HTTP. El servicio de Workflows convierte el evento en un objeto JSON (según la especificación de CloudEvents) y pasa el evento a la ejecución del flujo de trabajo como un argumento del entorno de ejecución del flujo de trabajo. Asegúrate de que el tamaño del evento no supere los 512 KB. Los eventos que superen el tamaño máximo de argumentos de Workflows no activarán las ejecuciones de flujos de trabajo.

En estas instrucciones, se muestra cómo configurar el enrutamiento de eventos para que se active una ejecución del flujo de trabajo en respuesta a un evento directo Dataproc Metastore . Para obtener más detalles, consulta la lista de eventos directos compatibles.

Nota: Si un proveedor de Google admite eventos de registro directos y de auditoría, te recomendamos que crees un activador que filtre los datos del evento directo. Los eventos directos ofrecen una serie de ventajas sobre los eventos de registro de auditoría. Para obtener más información, consulta Rutas de eventos.

Prepárate para crear un activador

Antes de crear un activador de Eventarc para un flujo de trabajo de destino, completa las siguientes tareas.

Consola

1. En la página del selector de proyectos de la consola de Google Cloud, elige o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos creados durante este procedimiento, crea un proyecto en lugar de elegir un proyecto existente. Cuando termines, puedes borrar el proyecto si quitas todos los recursos asociados con él.

   Ir al selector de proyectos

2. Habilitar las APIs de Eventarc, publicación de Eventarc, Workflows y Workflow Executions.

   Habilita las API

3. Si corresponde, habilita la API relacionada con los eventos directos. Por ejemplo, para eventos Dataproc Metastore , habilita la APIDataproc Metastore .

4. Si aún no tienes una, crea una cuenta de servicio administrada por el usuario y, luego, otórgale los roles y los permisos necesarios para que Eventarc pueda administrar los eventos para el servicio de destino.

   1. En la consola de Google Cloud, ve a la página Cuentas de servicio.

      Ir a Cuentas de servicio

   2. Elige tu proyecto.

   3. Escribe un nombre en el campo Nombre de cuenta de servicio. La consola de Google Cloud completa el campo ID de la cuenta de servicio en función de este nombre.

      Opcional: en el campo Descripción de la cuenta de servicio, escribe una descripción. Por ejemplo, Service account for event trigger.

   4. Haz clic en Crear y continuar.

   5. Para proporcionar el acceso adecuado, en la lista Seleccionar un rol, elige los roles de Identity and Access Management (IAM) necesarios para otorgar a tu cuenta de servicio. Si deseas obtener más información, consulta Roles y permisos para destinos de Workflows.

      Para obtener roles adicionales, haz clic en Agregar otro rol y agrega cada rol adicional.

   6. Haz clic en Continuar.

   7. Para terminar de crear la cuenta, haz clic en Listo.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Habilitar las APIs de Eventarc, publicación de Eventarc, Workflows y Workflow Executions:

   gcloud services enable eventarc.googleapis.com \
       eventarcpublishing.googleapis.com \
       workflows.googleapis.com \
       workflowexecutions.googleapis.com
   

3. Si corresponde, habilita la API relacionada con los eventos directos. Por ejemplo, para los eventos Dataproc Metastore , habilita metastore.googleapis.com.

4. Si aún no tienes una, crea una cuenta de servicio administrada por el usuario y, luego, otórgale los roles y los permisos necesarios para que Eventarc pueda administrar los eventos para el servicio de destino.

   1. Cree la cuenta de servicio:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Reemplaza SERVICE_ACCOUNT_NAME por el nombre de la cuenta de servicio. Debe tener entre 6 y 30 caracteres y puede contener guiones y caracteres alfanuméricos en minúscula. Después de crear una cuenta de servicio, no podrás cambiar su nombre.

   2. Otorga los roles o los permisos de Identity and Access Management (IAM) necesarios. Si deseas obtener más información, consulta Roles y permisos para destinos de Workflows.

Crear un activador

Puedes crear un activador de Eventarc con un flujo de trabajo implementado como receptor de eventos con Google Cloud CLI (gcloud o Terraform) o la consola de Google Cloud.

Nota: El filtrado se hace a través de una concordancia exacta y no admite comodines ni expresiones regulares. Sin embargo, puedes usar la marca --event-filters-path-pattern en el siguiente comando de gcloud CLI o definir un patrón de ruta de acceso a través de la consola. Para obtener más información, consulta Información sobre los patrones de ruta de acceso.

Consola

1. En la consola de Google Cloud, ve a la página Activadores de Eventarc.

   Ir a Activadores

2. Haz clic en Crear activador.
3. Escribe un nombre de activador.

   Este es el ID del activador y debe empezar con una letra. Puede contener hasta 63 letras en minúscula, números o guiones.

4. Para el Tipo de activador, elige Fuentes de Google.
5. En la lista Proveedor del evento, elige Dataproc Metastore.

   Ten en cuenta que el nombre del proveedor de eventos que se usa en la documentación de Google Cloud asociada podría no tener el prefijo Cloud o Google Cloud. Por ejemplo, en la consola, Memorystore for Redis se denomina Google Cloud Memorystore para Redis.

6. En la lista Tipo de evento, en los eventos Directos, selecciona un tipo de evento.
7. Para especificar la codificación de la carga útil del evento, en la lista Tipo de contenido de datos de eventos, elige application/json o application/protobuf.

   Ten en cuenta que una carga útil de evento con formato JSON es mayor que una con formato en Protobuf. Esto puede afectar la confiabilidad según el destino del evento y los límites de tamaño del evento. Para obtener más información, consulta Problemas conocidos.

8. En la lista Región, elige la misma región que el servicio de Google Cloud que genera los eventos.

   Para obtener más información, consulta Ubicaciones de Eventarc.

9. Si corresponde al proveedor de eventos, haz clic en Agregar filtro y especifica lo siguiente:
   1. En el campo Atributo 1, según el evento directo que elijas, elige un ID de recurso que pueda funcionar como un filtro de evento.
   2. Elige un operador:
      • Igual
      • Patrón de ruta de acceso

        Para obtener más información, consulta Información sobre los patrones de ruta de acceso.

   3. En el campo Valor del atributo 1, según el operador que elegiste, escribe el valor exacto o aplica un patrón de ruta de acceso.
   4. Si se aplican más filtros de atributos, haz clic en Agregar filtro y especifica los valores adecuados.
10. Elige la cuenta de servicio que invocará el servicio o el flujo de trabajo.

    O bien, puedes crear una cuenta de servicio nueva.

    Esto especifica el correo electrónico de la cuenta de servicio de Identity and Access Management (IAM) asociado con el activador y al que otorgaste antes roles específicos que requiere Eventarc.

11. En la lista Destino del evento, elige Workflows.
12. Elige un flujo de trabajo.
    

    Este es el nombre del flujo de trabajo al que se pasan los eventos. Los eventos para una ejecución del flujo de trabajo se transforman y se pasan al flujo de trabajo como argumentos del entorno de ejecución.

    Para obtener más información, consulta Crea un activador para Workflows.

13. Haz clic en Crear.

Después de que se crea un activador, los filtros de fuente del evento no se pueden cambiar. En su lugar, crea un activador nuevo y borra el anterior. Para obtener más información, consulta Administra activadores.

gcloud

Para crear un activador, ejecuta el comando gcloud eventarc triggers create junto con las marcas obligatorias y opcionales.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-workflow=DESTINATION_WORKFLOW \
      --destination-workflow-location=DESTINATION_WORKFLOW_LOCATION \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --event-data-content-type="EVENT_DATA_CONTENT_TYPE" \
      --service-account="SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Reemplaza lo siguiente:

• TRIGGER: el ID del activador o un identificador completamente calificado.
• LOCATION: la ubicación del activador de Eventarc. De forma alternativa, puedes establecer la propiedad eventarc/location; por ejemplo, gcloud config set eventarc/location us-central1.

  Para evitar problemas de rendimiento y residencia de datos, la ubicación debe coincidir con la ubicación del servicio de Google Cloud que genera eventos. Para obtener más información, consulta Ubicaciones de Eventarc.

• DESTINATION_WORKFLOW: Es el ID del flujo de trabajo implementado que recibe los eventos del activador. El flujo de trabajo puede estar en cualquiera de las ubicaciones compatibles con Workflows y no necesita estar en la misma ubicación que el activador. Sin embargo, el flujo de trabajo debe estar en el mismo proyecto que el activador.
• DESTINATION_WORKFLOW_LOCATION (opcional): la ubicación en la que se implementa el flujo de trabajo de destino. Si no se especifica, se supone que el flujo de trabajo se encuentra en la misma ubicación que el activador.
• EVENT_FILTER_TYPE: el identificador del evento. Se genera un evento cuando una llamada a la API para el método se hace de forma correcta. Para las operaciones de larga duración, el evento solo se genera al final de la operación y solo si la acción se hace correctamente. Para obtener una lista de los tipos de eventos compatibles, consulta Tipos de eventos compatibles con Eventarc.

• COLLECTION_ID (opcional): el componente de recurso que puede actuar como filtro de eventos y es uno de los siguientes elementos:
  • backup
  • federation
  • metadataimport
  • service
• RESOURCE_ID: el identificador del recurso que se usa como el valor de filtro de la colección asociada. Para obtener más información, consulta ID de recurso.
• PATH_PATTERN: el patrón de ruta de acceso que se aplicará cuando se filtre el recurso.
• EVENT_DATA_CONTENT_TYPE: la codificación de la carga útil del evento (opcional). Puede ser application/json o application/protobuf. La codificación predeterminada es application/json.

  Ten en cuenta que una carga útil de evento con formato JSON es mayor que una con formato Protobuf. Esto puede afectar la confiabilidad según el destino del evento y los límites de tamaño del evento. Para obtener más información, consulta Problemas conocidos.

• SERVICE_ACCOUNT_NAME: El nombre de la cuenta de servicio de IAM que creaste a la que otorgaste roles específicos que requieren los flujos de trabajo.
• PROJECT_ID: El ID del proyecto de Google Cloud.

Notas:

• La marca --event-filters="type=EVENT_FILTER_TYPE" es obligatoria. Si no se establece ningún otro filtro de eventos, se hace coincidir los eventos de todos los recursos.
• EVENT_FILTER_TYPE no se puede cambiar después de su creación. Para cambiar EVENT_FILTER_TYPE, crea un activador nuevo y borra el anterior.
• Cada activador tiene varios filtros de eventos, delimitados por comas en una marca --event-filters=[ATTRIBUTE=VALUE,…], o puedes repetir la marca para agregar más filtros. Solo los eventos que coinciden con todos los filtros se envían al destino. No se admiten comodines ni expresiones regulares. Sin embargo, cuando usas la marca --event-filters-path-pattern, puedes definir un patrón de ruta de acceso de recurso.
• La marca --service-account se usa para especificar el correo electrónico de la cuenta de servicio de administración de identidades y accesos (IAM) asociado con el activador.

Ejemplo:

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-workflow=my-workflow \
      --destination-workflow-location=us-central1 \
      --event-filters="type=google.cloud.metastore.federation.v1.updated" \
      --event-filters-path-pattern="federation=my-federation-*" \
      --service-account="${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com"

Con este comando, se crea un activador llamado helloworld-trigger para el evento identificado como google.cloud.metastore.federation.v1.updated y coincide con los eventos para los IDs de federation que comienzan con my-federation-.

Terraform

Puedes crear un activador para un flujo de trabajo con Terraform. Para obtener más detalles, consulta Activa un flujo de trabajo con Eventarc y Terraform.

Nota: Aunque tu activador se crea de inmediato, puede tardar hasta dos minutos en propagarse y filtrar los eventos.

Enumera un activador

Para confirmar la creación de un activador, enumera los activadores de Eventarc con Google Cloud CLI o a través de la consola de Google Cloud.

Consola

1. En la consola de Google Cloud, ve a la página Activadores de Eventarc.

   Ir a Activadores

   En esta página, se enumeran tus activadores en todas las ubicaciones y se incluyen detalles, como nombres, regiones, proveedores de eventos, destinos y mucho más.

2. Para filtrar tus activadores, haz lo siguiente:

   1. Haz clic en Filtrar o en el campo Filtrar activadores.
   2. En la lista Propiedades, elige una opción para filtrar los activadores.

   Puedes elegir una sola propiedad o usar el operador lógico OR para agregar más propiedades.

3. Para ordenar los activadores, junto con el encabezado de la columna compatible, haz clic en Ordenar.

gcloud

Ejecuta el siguiente comando para enumerar los activadores:

gcloud eventarc triggers list --location=-

Este comando enumera tus activadores en todas las ubicaciones y, además, incluye detalles como nombres, tipos, destinos y estados.

¿Qué sigue?

• Activa un flujo de trabajo con Eventarc y Terraform

• Obtén más información sobre Eventarc