Activar flujos de trabajo con Registros de auditoría de Cloud (gcloud CLI)

Activar flujos de trabajo con Registros de auditoría de Cloud (gcloud CLI)

Estándar

En esta guía de inicio rápido se muestra cómo ejecutar un flujo de trabajo mediante un activador de Eventarc que recibe eventos de Registros de auditoría de Cloud de BigQuery. BigQuery aloja conjuntos de datos públicos a los que puedes acceder e integrar en tus aplicaciones. El activador ejecuta el flujo de trabajo escuchando una tarea de BigQuery que consulta un conjunto de datos público. A continuación, transfiere los eventos como argumentos de tiempo de ejecución al flujo de trabajo de destino.

Puedes completar esta guía de inicio rápido con la CLI de Google Cloud.

1. Usa Workflows para crear e implementar un flujo de trabajo que extraiga y devuelva datos de un evento.
2. Crea un activador de Eventarc que conecte una tarea de BigQuery con un receptor de eventos de Workflows.
3. Genera un evento ejecutando un trabajo de BigQuery con la herramienta de línea de comandos bq. Este evento se transfiere como argumento de tiempo de ejecución al flujo de trabajo de destino.
4. Consulta los datos de eventos en la salida de la ejecución del flujo de trabajo.

Antes de empezar

Es posible que las restricciones de seguridad definidas por tu organización te impidan completar los siguientes pasos. Para obtener información sobre cómo solucionar problemas, consulta el artículo Desarrollar aplicaciones en un entorno limitado Google Cloud .

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Create or select a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

1. Actualiza los componentes de gcloud:

   gcloud components update

2. Inicia sesión con tu cuenta:

   gcloud auth login

3. Habilita las APIs Compute Engine, Eventarc, Pub/Sub y Workflows.

   gcloud services enable \
   compute.googleapis.com \
   eventarc.googleapis.com \
   pubsub.googleapis.com \
   workflows.googleapis.com \
   workflowexecutions.googleapis.com

4. Define las variables de configuración que se usan en esta guía de inicio rápido:

   export WORKFLOW_LOCATION=us-central1
   export TRIGGER_LOCATION=us-central1
   export PROJECT_ID=PROJECT_ID
   gcloud config set project ${PROJECT_ID}
   gcloud config set workflows/location ${WORKFLOW_LOCATION}
   gcloud config set eventarc/location ${TRIGGER_LOCATION}

5. Si has creado el proyecto, se te asignará el rol básico Propietario (roles/owner). De forma predeterminada, este rol de gestión de identidades y accesos (IAM) incluye los permisos necesarios para acceder por completo a la mayoría de los recursos Google Cloud, por lo que puedes saltarte este paso.

   Si no eres el creador del proyecto, debes conceder los permisos necesarios al principal correspondiente. Por ejemplo, una entidad principal puede ser una cuenta de Google (para usuarios finales) o una cuenta de servicio (para aplicaciones y cargas de trabajo de computación). Para obtener más información, consulta la página Roles y permisos de tu destino de evento.

   Permisos obligatorios

   Para obtener los permisos que necesitas para completar esta guía de inicio rápido, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tu proyecto:

   • Administrador de Eventarc (roles/eventarc.admin)
   • Usuario con permiso para ver registros (roles/logging.viewAccessor)
   • Administrador de gestión de identidades y accesos del proyecto (roles/resourcemanager.projectIamAdmin)
   • Administrador de cuentas de servicio (roles/iam.serviceAccountAdmin)
   • Usuario de cuenta de servicio (roles/iam.serviceAccountUser)
   • Administrador de Uso de Servicio (roles/serviceusage.serviceUsageAdmin)
   • Administrador de flujos de trabajo (roles/workflows.admin)

   Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

   También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

6. Anota la cuenta de servicio predeterminada de Compute Engine, ya que la asociarás a un activador de Eventarc para representar la identidad del activador con fines de prueba. Esta cuenta de servicio se crea automáticamente después de habilitar o usar un servicio que utiliza Compute Engine y tiene el siguiente formato de correo electrónico: Google Cloud

   [e-mail]

   Sustituye PROJECT_NUMBER por el número de tu proyecto. Google Cloud Puedes encontrar el número de tu proyecto en la página Bienvenido de la consola Google Cloud o ejecutando el siguiente comando:

   gcloud projects describe PROJECT_ID --format='value(projectNumber)'

   En los entornos de producción, te recomendamos que crees una cuenta de servicio y le asignes uno o varios roles de IAM que contengan los permisos mínimos necesarios y que sigas el principio de privilegio mínimo.

   Nota:

   La restricción de la política de organización iam.automaticIamGrantsForDefaultServiceAccounts impide que se conceda automáticamente el rol Editor a las cuentas de servicio predeterminadas. Si has creado tu organización después del 3 de mayo del 2024, esta restricción se aplica de forma predeterminada.

   Te recomendamos que apliques esta restricción para inhabilitar la concesión automática de roles. Si inhabilitas la concesión automática de roles, debes decidir qué roles quieres conceder a las cuentas de servicio predeterminadas y, a continuación, concederlos tú mismo.

   Si la cuenta de servicio predeterminada ya tiene el rol Editor, te recomendamos que lo sustituyas por roles con menos permisos.Para modificar los roles de la cuenta de servicio de forma segura, usa Simulador de políticas para ver el impacto del cambio y, a continuación, asigna y revoca los roles adecuados.

7. Concede el rol Receptor de eventos de Eventarc (roles/eventarc.eventReceiver) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que el activador de Eventarc pueda recibir eventos de proveedores de eventos.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/eventarc.eventReceiver

8. Concede el rol Invocador de Workflows (roles/workflows.invoker) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que la cuenta tenga permiso para activar la ejecución del flujo de trabajo.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/workflows.invoker

9. Concede el rol Escritor de registros de Logging (roles/logging.logWriter) en el proyecto a la cuenta de servicio predeterminada de Compute Engine para que el flujo de trabajo pueda enviar registros a Cloud Logging.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/logging.logWriter

10. Si habilitaste el agente de servicio de Cloud Pub/Sub el 8 de abril del 2021 o antes para admitir solicitudes push de Pub/Sub autenticadas, asigna el rol Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio. De lo contrario, este rol se asigna de forma predeterminada:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/iam.serviceAccountTokenCreator

Crear y desplegar un flujo de trabajo

Crea y despliega un flujo de trabajo que se ejecuta cuando se completa una tarea de BigQuery y se activa el flujo de trabajo con una solicitud HTTP.

1. Abre un terminal o Cloud Shell.
2. En tu directorio principal, crea un archivo llamado myFirstWorkflow.yaml o myFirstWorkflow.json.
3. Copia y pega lo siguiente en el nuevo archivo y guárdalo:

   YAML

   main:
     params: [event]
     steps:
         - log_event:
             call: sys.log
             args:
                 text: ${event}
                 severity: INFO
         - extract_data:
             assign:
             - data: ${event.data.protoPayload}
         - return_data:
                 return:
                     data: ${data}

   JSON

   {
     "main": {
       "params": [
         "event"
       ],
       "steps": [
         {
           "log_event": {
             "call": "sys.log",
             "args": {
               "text": "${event}",
               "severity": "INFO"
             }
           }
         },
         {
           "extract_data": {
             "assign": [
               {
                 "data": "${event.data.protoPayload}"
               }
             ]
           }
         },
         {
           "return_data": {
             "return": {
               "data": "${data}"
             }
           }
         }
       ]
     }
   }

4. Despliega el flujo de trabajo:

   export MY_WORKFLOW=myFirstWorkflow
   gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml

   Sustituye .yaml por .json si has copiado la versión JSON del flujo de trabajo de ejemplo.

Crear un activador de Eventarc

Para crear un activador de Eventarc que enrute eventos de BigQuery a un destino de Workflows, ejecuta el comando gcloud eventarc triggers create.

1. Crea un activador que filtre eventos de BigQuery:

   gcloud eventarc triggers create events-cal-trigger \
       --destination-workflow=${MY_WORKFLOW} \
       --destination-workflow-location=${WORKFLOW_LOCATION} \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=bigquery.googleapis.com" \
       --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
       --service-account="[e-mail]"

   De esta forma, se crea un activador llamado events-cal-trigger.

   Ten en cuenta que, cuando crees un activador de Eventarc por primera vez en un proyecto de Google Cloud , puede haber un retraso en el aprovisionamiento del agente de servicio de Eventarc. Este problema suele resolverse intentando crear el activador de nuevo. Para obtener más información, consulta Errores de permiso denegado.

2. Para confirmar que events-cal-trigger se ha creado correctamente, ejecuta el siguiente comando:

   gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

   En la salida se muestra la hora y la ubicación de creación del activador, que debería ser similar a la siguiente:

   createTime: '2021-10-14T15:15:43.872360951Z'
   [...]
   name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger
   

Nota: Aunque el activador se crea inmediatamente, puede tardar hasta dos minutos en estar totalmente operativo.

Generar y ver un evento

Ejecuta un trabajo de BigQuery con la herramienta de línea de comandos bq para generar eventos y activar el flujo de trabajo.

1. Para activar el flujo de trabajo, ejecuta una tarea de BigQuery que acceda a un conjunto de datos público y obtenga información de él:

   bq query --nouse_legacy_sql \
   'SELECT
   COUNT(*)
   FROM
   `bigquery-public-data`.samples.shakespeare'

   Los eventos generados se transfieren como argumentos de tiempo de ejecución al flujo de trabajo, que devuelve los datos de la carga útil como resultado de la ejecución del flujo de trabajo.

2. Para verificar que se ha activado el flujo de trabajo, enumera sus dos últimas ejecuciones:

   gcloud workflows executions list ${MY_WORKFLOW} --limit=2

   El trabajo de BigQuery activa dos ejecuciones del flujo de trabajo. Un evento indica el cambio de trabajo y el otro, la inserción del trabajo en sí. El resultado muestra un NAME y un STATE igual a SUCCEEDED para cada una de las ejecuciones y debería ser similar al siguiente:

   NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
   STATE: SUCCEEDED
   START_TIME: 2024-02-06T14:16:14.390549813Z
   END_TIME: 2024-02-06T14:16:14.870102511Z
   NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
   STATE: SUCCEEDED
   START_TIME: 2024-02-06T14:16:14.389882601Z
   END_TIME: 2024-02-06T14:16:14.829942525Z

   Ten en cuenta que, en la salida, a073ad6a-c76b-4437-8d39-2ab3ade289d2 del campo NAME es el ID de la ejecución del flujo de trabajo. Copia el ID de ejecución para usarlo en el siguiente paso.

3. Para ver el estado de la ejecución, ejecuta el siguiente comando:

   gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

   Sustituye WORKFLOW_EXECUTION_ID por el ID de la ejecución del flujo de trabajo que corresponda a la hora en la que se completó el trabajo de BigQuery.

   La salida debería ser similar a la siguiente:

   argument: [...]
   duration: 0.277917625s
   endTime: '2024-02-06T14:16:14.870102511Z'
   name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
   result: '{"data": [...]}'
   startTime: '2024-02-06T14:16:14.390549813Z'
   state: SUCCEEDED

4. Verifique que la startTime en la que se completó el trabajo de BigQuery y la START_TIME de la ejecución del flujo de trabajo se correspondan.

Has generado correctamente un evento de BigQuery que ha activado un receptor de eventos de Workflows mediante Eventarc.

Limpieza

1. Elimina el flujo de trabajo que has creado:

   gcloud workflows delete ${MY_WORKFLOW}

   Cuando se te pregunte si quieres continuar, escribe y.
2. Elimina el activador que has creado:

   gcloud eventarc triggers delete events-cal-trigger

3. También puedes eliminar tu Google Cloud proyecto para evitar que se te apliquen cargos. Al eliminar tu proyecto Google Cloud , se detendrá la facturación de todos los recursos utilizados en ese proyecto.
   Precaución: Eliminar un proyecto tiene los siguientes efectos:

   • Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
   • Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

   Delete a Google Cloud project:

   gcloud projects delete PROJECT_ID

Siguientes pasos

• Controlar el orden de ejecución de un flujo de trabajo
• Determinar filtros de eventos para registros de auditoría de Cloud
• Enviar eventos de Registros de auditoría de Cloud a Workflows