Introducción al ciclo de vida del código en Dataform

En este documento, se describe el ciclo de vida del código en Dataform y las formas de configurar la compilación y ejecución en Dataform.

Acerca del ciclo de vida del código en Dataform

El ciclo de vida del código de Dataform consta de las siguientes fases:

Desarrollo
Desarrollas un flujo de trabajo de SQL en un Lugar de trabajo de Dataform.
Compilación

Dataform compila el código del flujo de trabajo de SQL en tu lugar de trabajo a SQL en en tiempo real, lo que creará un resultado de compilación del lugar de trabajo que puedes ejecutar en BigQuery. Dataform usa parámetros de configuración que definida en el archivo de configuración del flujo de trabajo para crear el resultado de la compilación.

La compilación de Dataform es hermética para garantizar la coherencia de la compilación, lo que significa que el mismo código se compila en el mismo resultado de compilación de SQL siempre. Dataform compila tu código en una zona de pruebas sin acceso a Internet. No realizar acciones adicionales, como llamar o APIs externas, están disponibles durante la compilación.

Ejecución

En una invocación de flujo de trabajo, Dataform ejecuta el resultado de la compilación del lugar de trabajo en BigQuery.

Para adaptar el ciclo de vida del código de Dataform a tus necesidades, puedes configurar el resultado de la compilación para influir en dónde y cómo Dataform ejecuta tu flujo de trabajo de SQL. Luego, puedes activar o programar ejecuciones manualmente influir cuando Dataform ejecute todo tu flujo de trabajo de SQL o sus elementos seleccionados.

Formas de configurar la compilación de Dataform

De forma predeterminada, Dataform usa la configuración en la archivo de configuración del flujo de trabajo para crear resultados de compilación. Puedes anular la configuración predeterminada con anulaciones de compilación para crear resultados de compilación personalizados. Luego, puedes activar manualmente la ejecución de un resultado de compilación personalizado o programar ejecuciones.

Dataform proporciona las siguientes opciones para configurar resultados de la compilación:

Anulaciones de compilación de lugares de trabajo
Puedes configurar anulaciones de compilación que se apliquen a todos los lugares de trabajo de un en un repositorio de confianza. Puedes usar anulaciones de compilación de lugares de trabajo para crear objetos entornos de desarrollo de aplicaciones.
Configuraciones de lanzamiento
Puedes crear configuraciones de lanzamiento para definir plantillas que se usarán resultados de la compilación de un repositorio de Dataform. Luego, puedes crear configuración del flujo de trabajo para programar ejecuciones de resultados de compilación creados en una configuración de lanzamiento seleccionada.
Anulaciones de compilación de la API de Dataform
Puedes pasar solicitudes a la API de Dataform en la terminal para crear y ejecutar un resultado de compilación único con anulaciones de compilación

Configura anulaciones de compilación de lugares de trabajo

Con las anulaciones de compilación de lugares de trabajo, puedes crear anulaciones de compilación para todos los lugares de trabajo en un Dataform en un repositorio de confianza. Puedes crear una configuración de anulaciones de compilación de lugares de trabajo. por repositorio.

Cuando activas manualmente la ejecución en un lugar de trabajo, en un con anulaciones de compilación de lugares de trabajo, se aplica Dataform estas anulaciones al resultado de compilación del lugar de trabajo.

Puedes configurar las siguientes anulaciones de compilación de lugares de trabajo:

  • Es un proyecto de Google Cloud en el que Dataform ejecuta los contenidos de la lugar de trabajo
  • Prefijo de la tabla
  • Sufijo de esquema

Puedes usar anulaciones de compilación de lugares de trabajo para crear desarrollo aislado. de entornos aislando los resultados de compilación del espacio de trabajo en BigQuery con anulaciones de compilación dinámicas. Prefijo de tabla dinámica y las anulaciones de compilación del sufijo de esquema contienen la variable ${workspaceName}. Cuando activas la ejecución en un lugar de trabajo, Dataform reemplaza La variable ${workspaceName} con el nombre del lugar de trabajo actual, lo que crea anulaciones de compilación únicas para el lugar de trabajo.

Ten en cuenta que no puedes programar ejecuciones de resultados de compilación creadas con anulaciones de compilación de lugares de trabajo

Crea configuraciones de lanzamiento

Con las configuraciones de lanzamiento, puedes configurar plantillas de configuración para crear resultados de compilación de repositorios.

En una configuración de lanzamiento, puedes configurar anulaciones de compilación de configuración de flujo de trabajo, variables de compilación, y la frecuencia de creación de compilación de todo el repositorio.

En una configuración de lanzamiento, puedes establecer los siguientes ajustes anulaciones de compilación:

Puedes crear varios parámetros de configuración de lanzamiento en un Dataform de desarrollo, uno para cada etapa del ciclo de vida de desarrollo, lo que crea de compilación del repositorio.

Luego, puedes crear parámetros de configuración de flujo de trabajo para programar ejecuciones. de resultados de compilación creados en una configuración de lanzamiento seleccionada.

También puedes activar manualmente la ejecución de un resultado de compilación en una configuración de lanzamiento seleccionada.

Configura un solo resultado de compilación con anulaciones de compilación de la API de Dataform

Si pasas las solicitudes a la API de Dataform en la terminal, podrás configurar la compilación anulaciones para un solo resultado de compilación.

En la solicitud compilationResults.create, puedes crear un solo resultado de compilación de un Dataform Workspace o un comercio de Git específico.

En el objeto CodeCompilationConfig de la compilationResults.create, puedes configurar anulaciones de compilación para la solicitud de compilación.

Puedes configurar las siguientes anulaciones de compilación de la API de Dataform:

Ten en cuenta que las anulaciones de compilación de la API de Dataform se aplican a un solo resultado de compilación y una sola ejecución. No puedes usarlos para programar Ejecuciones de Dataform.

Puedes ejecutar un resultado de compilación en la workflowInvocations.create para cada solicitud.

Formas de configurar la ejecución de Dataform

Dataform proporciona las siguientes opciones para configurar la ejecución:

Ejecución manual en un lugar de trabajo
Puedes activar manualmente la ejecución instantánea de un flujo de trabajo de SQL en un lugar de trabajo de Dataform, fuera de cualquier programa. Puedes ejecutar las acciones seleccionadas en el flujo de trabajo de SQL.
Configuraciones del flujo de trabajo
Puedes programar ejecuciones de resultados de compilaciones creados en una app seleccionada de lanzamiento. Puedes seleccionar las acciones del flujo de trabajo de SQL que deseas ejecutar y establecer la frecuencia y la zona horaria de las ejecuciones.

Activa la ejecución instantánea en un lugar de trabajo

En un lugar de trabajo de Dataform, puedes usar la ejecución instantánea de forma manual. del flujo de trabajo de SQL en tu lugar de trabajo, fuera de cualquier programa.

Puedes ejecutar manualmente los siguientes elementos del flujo de trabajo de SQL en tu Workspace:

Si tu repositorio contiene anulaciones de compilación de lugares de trabajo, puedes ver qué Anulaciones de compilación que Dataform aplicará al lugar de trabajo. resultado de la compilación.

Crear configuraciones de flujo de trabajo

Con las configuraciones de flujo de trabajo, puedes programar ejecuciones de resultados de compilaciones de una app configuración de lanzamiento. Puedes crear varios parámetros de configuración de flujo de trabajo en un repositorio de Dataform.

En la configuración de un flujo de trabajo, puedes establecer la siguiente configuración de ejecución:

  • Se aplicó la configuración de lanzamiento de la compilación
  • Selección de acciones del flujo de trabajo de SQL que se ejecutarán
  • Programa y zona horaria de las ejecuciones

Puedes seleccionar las siguientes acciones de flujo de trabajo de SQL para que se ejecuten:

  • Todas las acciones
  • Acciones seleccionadas
  • Acciones con las etiquetas seleccionadas

Luego, durante una ejecución programada de la configuración de tu flujo de trabajo, Dataform implementa tu selección de acciones de los el resultado de la compilación en BigQuery.

Los parámetros de configuración del lanzamiento y del flujo de trabajo de Dataform te permiten configurar la compilación y programar ejecuciones en Dataform sin tener que depender de servicios adicionales.

Vencimiento de los recursos del ciclo de vida

Dataform almacena los resultados de la compilación y las invocaciones del flujo de trabajo de un un período específico.

Vencimiento de las invocaciones del flujo de trabajo

Invocaciones del flujo de trabajo expiran después de 90 días o cuando los borras de forma manual.

En una configuración de flujo de trabajo, puedes ver una lista de las invocaciones más recientes del flujo de trabajo que creó la configuración. Cuando una invocación de flujo de trabajo creada por un flujo de trabajo de Terraform, Dataform quitará esa invocación de flujo de trabajo de la lista de invocaciones recientes.

Vencimiento de los resultados de la compilación

Vencimiento de los resultados de compilación depende de cómo se crean: en un espacio de trabajo de desarrollo, en una configuración de lanzamiento o mediante la invocación de un flujo de trabajo.

Cuando desarrollas un flujo de trabajo de SQL en un lugar de trabajo de Dataform, Dataform compila tu código en un resultado de compilación en tiempo real para validar consultas. Los resultados de compilación creados de esta manera vencen después de 24 horas.

En una configuración de lanzamiento, el resultado de la compilación más reciente se convierte en el resultado publicado resultado de la compilación. Un nuevo resultado de compilación reemplaza la transmisión en vivo actual resultado de la compilación. Dataform retiene el resultado de la compilación en vivo hasta que se reemplaza por un nuevo resultado de compilación. Vencimiento del resultado de compilación reemplazado en hasta 24 horas.

Dataform quita de la lista los resultados de compilación vencidos de Dataform. resultados de compilaciones anteriores en la página Detalles de una configuración de lanzamiento

Dataform retiene los resultados de la compilación creados por invocaciones del flujo de trabajo. durante toda la vida de la invocación del flujo de trabajo, hasta 24 horas después del flujo de trabajo de una instancia de VM caduca o se borra.

¿Qué sigue?