Programa ejecuciones con Workflows y Cloud Scheduler

En este documento, se muestra cómo ejecutar ejecuciones programadas de flujos de trabajo de SQL de Dataform mediante Workflows y Cloud Scheduler.

Acerca de las ejecuciones de flujos de trabajo programadas

Puedes establecer la frecuencia de las ejecuciones del flujo de trabajo de SQL de Dataform si creas un trabajo de Cloud Scheduler que active un flujo de trabajo de Workflows. Workflows ejecutan servicios en un flujo de trabajo de organización que defines.

Workflows ejecutan el flujo de trabajo de SQL de Dataform en un proceso de dos pasos. Primero, extrae el código del repositorio de Dataform desde tu proveedor de Git y lo compila en un resultado de compilación. Luego, usa el resultado de la compilación para crear un flujo de trabajo de SQL de Dataform y lo ejecuta con la frecuencia que establezcas.

Antes de comenzar

  1. En Google Cloud Console, ve a la página Dataform.

    Ir a la página Dataform

  2. Selecciona o crea un repositorio.

Roles obligatorios

Para obtener los permisos que necesitas para programar ejecuciones de Dataform con Workflows, solicítale al administrador que te otorgue la función de Editor de Dataform (roles/dataform.editor) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Crea un flujo de trabajo de organización programado

Para ejecutar ejecuciones programadas de tu flujo de trabajo de SQL de Dataform, usa Workflows para crear un flujo de trabajo de organización y agregar un trabajo de Cloud Scheduler como activador.

  1. Workflows usa cuentas de servicio para otorgar a los flujos de trabajo acceso a los recursos de Google Cloud. Crea una cuenta de servicio y otórgale la función de editor de Dataform y los permisos mínimos necesarios para administrar tu flujo de trabajo de organización. Si deseas obtener más información, consulta Otorga un permiso de flujo de trabajo para acceder a los recursos de Google Cloud.

  2. Crea un flujo de trabajo de organización y usa el siguiente código fuente YAML como la definición de tu flujo de trabajo:

    main:
        steps:
        - init:
            assign:
            - repository: projects/PROJECT_ID/locations/REPOSITORY_LOCATION/repositories/REPOSITORY_ID
        - createCompilationResult:
            call: http.post
            args:
                url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/compilationResults"}
                auth:
                    type: OAuth2
                body:
                    gitCommitish: GIT_COMMITISH
            result: compilationResult
        - createWorkflowInvocation:
            call: http.post
            args:
                url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/workflowInvocations"}
                auth:
                    type: OAuth2
                body:
                    compilationResult: ${compilationResult.body.name}
            result: workflowInvocation
        - complete:
            return: ${workflowInvocation.body.name}
    

    Reemplaza lo siguiente:

    • PROJECT_ID es el ID de tu proyecto de Google Cloud.
    • REPOSITORY_LOCATION: Es la ubicación de tu repositorio de Dataform.
    • REPOSITORY_ID: Es el nombre de tu repositorio de Dataform.
    • GIT_COMMITISH: Es la rama de Git desde la que deseas ejecutar el código de Dataform. Para un repositorio recién creado, reemplázalo por main.
  3. Programa el flujo de trabajo de organización con Cloud Scheduler.

Cómo personalizar la solicitud de resultado de compilación del flujo de trabajo de SQL de Dataform

Puedes actualizar el flujo de trabajo de organización existente y definir la configuración de solicitud de resultados de compilación de SQL de Dataform en formato YAML. Para obtener más información sobre la configuración, consulta la referencia del recurso projects.locations.repositories.compilationResults de REST.

Por ejemplo, para agregar un _dev schemaSuffix a todas las acciones durante la compilación, reemplaza el cuerpo del paso createCompilationResult por el siguiente fragmento de código:

    - createCompilationResult:
        call: http.post
        args:
            url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/compilationResults"}
            auth:
                type: OAuth2
            body:
                gitCommitish: GIT_COMMITISH
                codeCompilationConfig:
                    schemaSuffix: dev

También puedes pasar una configuración adicional como argumento de entorno de ejecución en una solicitud de ejecución de Workflows y acceder a esos argumentos mediante variables. Para obtener más información, consulta Cómo pasar argumentos del entorno de ejecución en una solicitud de ejecución.

Personalizar la solicitud de invocación del flujo de trabajo de SQL de Dataform

Puedes actualizar el flujo de trabajo de organización existente y definir la configuración de la solicitud de invocación de flujo de trabajo de SQL de Dataform en formato YAML. Para obtener más información sobre la configuración de la solicitud de invocación, consulta la referencia del recurso projects.locations.repositories.workflowInvocations de REST.

Por ejemplo, para ejecutar solo acciones con la etiqueta hourly con todas las dependencias transitivas incluidas, reemplaza el cuerpo createWorkflowInvocation por el siguiente fragmento de código:

    - createWorkflowInvocation:
        call: http.post
        args:
            url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/workflowInvocations"}
            auth:
                type: OAuth2
            body:
                compilationResult: ${compilationResult.body.name}
                invocationConfig:
                    includedTags:
                    - hourly
                    transitiveDependenciesIncluded: true
                

También puedes pasar una configuración adicional como argumento de entorno de ejecución en una solicitud de ejecución de Workflows y acceder a esos argumentos mediante variables. Para obtener más información, consulta Cómo pasar argumentos del entorno de ejecución en una solicitud de ejecución.

¿Qué sigue?