En Dataform heredado, definiste entornos y programas juntos en el archivo environments.json
.
En la siguiente muestra de código, se muestran las definiciones de los entornos production
y staging
, y las programaciones correspondientes en un archivo environments.json
de Dataform heredado:
// example of an environments.json file
{
"environments": [
{
"name": "production",
"configOverride": {},
"schedules": [
{
"name": "daily",
"cron": "30 14 * * *",
"tags": [
"daily"
]
},
{
"name": "hourly",
"cron": "*/5 * * * *",
"disabled": false
}
],
"gitRef": "master"
},
{
"name": "staging",
"configOverride": {
"schemaSuffix": "staging"
},
"schedules": [
{
"name": "daily (all)",
"cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
}
],
"gitRef": "master"
}
]
}
En Dataform en Google Cloud, la configuración de entornos y programas se divide en dos experiencias:
- Configuraciones de lanzamiento
- De manera similar a los entornos heredados de Dataform, se usan para definir la configuración de compilación para diferentes entornos, por ejemplo,
staging
yproduction
.
Las configuraciones de lanzamiento te permiten configurar anulaciones de confirmación y compilación de Git para personalizar la creación de resultados de compilación. Dataform crea resultados de compilación a partir de las configuraciones de lanzamiento, independientemente de los programas de configuración del flujo de trabajo. Esto significa que las ejecuciones programadas de los resultados de compilación de las configuraciones de lanzamientos pueden ejecutarse incluso si tu proveedor de Git remoto no está disponible.
Cuando creas una configuración de lanzamiento, puedes establecer la frecuencia de creación de resultados de compilación. También puedes crear un resultado de compilación a partir de una configuración de lanzamiento de forma manual o en un proceso de implementación continua automatizada.
- Configuraciones del flujo de trabajo
- Equivale a las programaciones heredadas de Dataform, que se usan para programar ejecuciones de resultados de compilación de configuraciones de lanzamientos.
Primero, debes crear una configuración de lanzamiento y definir los ajustes de compilación para un entorno seleccionado, por ejemplo, staging
. Luego, crea una configuración del flujo de trabajo y define el programa de ejecución de los resultados de la compilación de staging
.
Formas de migrar entornos y programas
Puedes migrar programas y entornos heredados a parámetros de configuración de lanzamiento y configuraciones de flujo de trabajo de las siguientes maneras:
- Establece la configuración de la versión y del flujo de trabajo en Dataform
Vuelve a crear entornos como configuraciones de lanzamiento y programas como configuraciones de flujo de trabajo dentro de Dataform en Google Cloud.
- Establece la configuración de la versión y del flujo de trabajo con la API de Dataform
Usa la API de Dataform para establecer configuraciones de lanzamiento y de flujo de trabajo.
Como alternativa, puedes migrar los entornos y programas heredados de las siguientes maneras:
- Aplica la configuración personalizada a
environments.json
mediante la API de Dataform - Puedes dejar el archivo
environments.json
en tu repositorio y configurar un proceso de implementación continua con la herramienta que prefieras. En el proceso de implementación continua, actualiza las configuraciones de lanzamiento y las del flujo de trabajo del archivoenvironment.json
después de combinarlas con la rama predeterminada. - Omitir configuraciones de actualizaciones y flujos de trabajo
- Puedes omitir las configuraciones de lanzamiento y flujo de trabajo y usar la CLI de Dataform de código abierto, la API de Dataform o la API de Dataform junto con Cloud Composer o Workflows para compilar tu repositorio y ejecutar flujos de trabajo.
Migra alertas de flujo de trabajo
Dataform proporciona Cloud Logging para invocaciones de flujos de trabajo. Estos registros contienen la información que puede ser útil para supervisar y depurar tus flujos de trabajo:
receiveTimestamp
release_config_id
repository_id
resource_container
workflow_invocation_id
workflow_config_id
severity
: Puede serINFO
,WARNING
oERROR
.terminalState
: Puede serSUCCEEDED
,CANCELED
oFAILED
timestamp
@type
Puedes usar Cloud Logging junto con Cloud Monitoring para configurar alertas similares a las alertas heredadas.
Con Cloud Monitoring, puedes configurar las siguientes métricas y alertas:
- Métricas basadas en registros, que puedes usar de la siguiente manera:
- Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
- Para crear gráficos que muestren cambios con el tiempo
- Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.
Para obtener más información, consulta Visualiza Cloud Logging para Dataform.
¿Qué sigue?
- Para aprender a crear configuraciones de lanzamiento, consulta Cómo crear una configuración de lanzamiento.
- Para aprender a crear configuraciones de flujo de trabajo, consulta Programa ejecuciones con configuraciones de flujo de trabajo.
- Para obtener más información sobre el ciclo de vida del código en Dataform, consulta Introducción al ciclo de vida del código en Dataform.
- Para obtener información sobre cómo migrar de Dataform heredado a Dataform en Google Cloud, consulta Cómo migrar desde Dataform heredado.