Acerca de las ejecuciones de flujos de trabajo programadas
Puedes establecer la frecuencia de las ejecuciones del flujo de trabajo de SQL de Dataform si creas un trabajo de Cloud Scheduler que active un flujo de trabajo de Workflows. Workflows ejecutan servicios en un flujo de trabajo de organización que defines.
Workflows ejecutan el flujo de trabajo de SQL de Dataform en un proceso de dos pasos. Primero, extrae el código del repositorio de Dataform desde tu proveedor de Git y lo compila en un resultado de compilación. Luego, usa el resultado de la compilación para crear un flujo de trabajo de SQL de Dataform y lo ejecuta con la frecuencia que establezcas.
Antes de comenzar
En Google Cloud Console, ve a la página Dataform.
Selecciona o crea un repositorio.
Roles obligatorios
Para obtener los permisos que necesitas para programar ejecuciones de Dataform con Workflows,
solicítale al administrador que te otorgue la función de
Editor de Dataform (roles/dataform.editor
) en los repositorios.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Crea un flujo de trabajo de organización programado
Para ejecutar ejecuciones programadas de tu flujo de trabajo de SQL de Dataform, usa Workflows para crear un flujo de trabajo de organización y agregar un trabajo de Cloud Scheduler como activador.
Workflows usa cuentas de servicio para otorgar a los flujos de trabajo acceso a los recursos de Google Cloud. Crea una cuenta de servicio y otórgale la función de editor de Dataform y los permisos mínimos necesarios para administrar tu flujo de trabajo de organización. Si deseas obtener más información, consulta Otorga un permiso de flujo de trabajo para acceder a los recursos de Google Cloud.
Crea un flujo de trabajo de organización y usa el siguiente código fuente YAML como la definición de tu flujo de trabajo:
main: steps: - init: assign: - repository: projects/PROJECT_ID/locations/REPOSITORY_LOCATION/repositories/REPOSITORY_ID - createCompilationResult: call: http.post args: url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/compilationResults"} auth: type: OAuth2 body: gitCommitish: GIT_COMMITISH result: compilationResult - createWorkflowInvocation: call: http.post args: url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/workflowInvocations"} auth: type: OAuth2 body: compilationResult: ${compilationResult.body.name} result: workflowInvocation - complete: return: ${workflowInvocation.body.name}
Reemplaza lo siguiente:
PROJECT_ID
es el ID de tu proyecto de Google Cloud.REPOSITORY_LOCATION
: Es la ubicación de tu repositorio de Dataform.REPOSITORY_ID
: Es el nombre de tu repositorio de Dataform.GIT_COMMITISH
: Es la rama de Git desde la que deseas ejecutar el código de Dataform. Para un repositorio recién creado, reemplázalo pormain
.
Programa el flujo de trabajo de organización con Cloud Scheduler.
Cómo personalizar la solicitud de resultado de compilación del flujo de trabajo de SQL de Dataform
Puedes actualizar el flujo de trabajo de organización existente y definir la configuración de solicitud de resultados de compilación de SQL de Dataform en formato YAML. Para obtener más información sobre la configuración, consulta la referencia del recurso projects.locations.repositories.compilationResults
de REST.
Por ejemplo, para agregar un _dev
schemaSuffix
a todas las acciones durante la compilación, reemplaza el cuerpo del paso createCompilationResult
por el siguiente fragmento de código:
- createCompilationResult:
call: http.post
args:
url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/compilationResults"}
auth:
type: OAuth2
body:
gitCommitish: GIT_COMMITISH
codeCompilationConfig:
schemaSuffix: dev
También puedes pasar una configuración adicional como argumento de entorno de ejecución en una solicitud de ejecución de Workflows y acceder a esos argumentos mediante variables. Para obtener más información, consulta Cómo pasar argumentos del entorno de ejecución en una solicitud de ejecución.
Personalizar la solicitud de invocación del flujo de trabajo de SQL de Dataform
Puedes actualizar el flujo de trabajo de organización existente y definir la configuración de la solicitud de invocación de flujo de trabajo de SQL de Dataform en formato YAML. Para obtener más información sobre la configuración de la solicitud de invocación, consulta la referencia del recurso projects.locations.repositories.workflowInvocations
de REST.
Por ejemplo, para ejecutar solo acciones con la etiqueta hourly
con todas las dependencias transitivas incluidas, reemplaza el cuerpo createWorkflowInvocation
por el siguiente fragmento de código:
- createWorkflowInvocation:
call: http.post
args:
url: ${"https://dataform.googleapis.com/v1beta1/" + repository + "/workflowInvocations"}
auth:
type: OAuth2
body:
compilationResult: ${compilationResult.body.name}
invocationConfig:
includedTags:
- hourly
transitiveDependenciesIncluded: true
También puedes pasar una configuración adicional como argumento de entorno de ejecución en una solicitud de ejecución de Workflows y acceder a esos argumentos mediante variables. Para obtener más información, consulta Cómo pasar argumentos del entorno de ejecución en una solicitud de ejecución.
¿Qué sigue?
- Para obtener más información sobre la configuración de programas de trabajo cron en Cloud Scheduler, consulta Configura trabajo cron cron.
- Para obtener más información sobre los precios de Workflows, consulta Precios de Workflows.
- Para obtener más información sobre los precios de Cloud Scheduler, consulta Precios del programador.
- Para obtener información sobre cómo programar ejecuciones con Cloud Composer y consulta Programa ejecuciones con Cloud Composer.