Migrar programas y entornos heredados

Dataform heredado dejará de estar disponible el 26 de febrero de 2024. Después de esa fecha, ya no podrás acceder a los proyectos heredados. En este documento, se describen las formas de migrar entornos y programas de Dataform heredado a Dataform en Google Cloud con configuraciones de flujos de trabajo y lanzamientos.

En Dataform heredado, definiste entornos y programas en el archivo environments.json.

En la siguiente muestra de código, se incluyen las definiciones de los entornos production y staging, y las programaciones correspondientes en un archivo environments.json de Dataform heredado:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

En Dataform en Google Cloud, la configuración de entornos y programas se divide en dos experiencias:

Configuraciones de lanzamiento
De manera similar a los entornos heredados de Dataform, se usan a fin de establecer ajustes de compilación para diferentes entornos, por ejemplo, staging y production.

Las configuraciones de lanzamiento te permiten configurar anulaciones de confirmación y compilación de Git para personalizar la creación de resultados de compilación. Dataform crea resultados de compilación a partir de configuraciones de lanzamiento de manera independiente de los programas de configuración del flujo de trabajo. Esto significa que las ejecuciones programadas de los resultados de compilación de las configuraciones de lanzamiento pueden ejecutarse incluso si tu proveedor de Git remoto no está disponible.

Cuando creas una configuración de lanzamiento, puedes establecer la frecuencia de creación de resultados de compilación. También puedes crear un resultado de compilación a partir de una configuración de lanzamiento de forma manual o en un proceso de implementación continua automatizado.

Configuraciones del flujo de trabajo
Equivale a los programas heredados de Dataform, que se usan para programar ejecuciones de los resultados de compilación de las configuraciones de lanzamientos.

Primero, debes crear una configuración de lanzamiento y definir los ajustes de compilación para un entorno seleccionado, por ejemplo, staging. Luego, crea una configuración del flujo de trabajo y define el programa de ejecución de los resultados de compilación de staging.

Formas de migrar entornos y programas

Puedes migrar programas y entornos heredados a configuraciones de lanzamiento y configuraciones de flujo de trabajo de las siguientes maneras:

Establece la configuración de lanzamiento y flujo de trabajo en Dataform

Vuelve a crear entornos como configuraciones de lanzamiento y programas como configuraciones de flujo de trabajo dentro de Dataform en Google Cloud.

Ir a la página Dataform

Define la configuración de lanzamiento y flujo de trabajo con la API de Dataform

Usa la API de Dataform para establecer parámetros de configuración de lanzamiento y de flujo de trabajo.

Como alternativa, puedes migrar entornos y programas heredados de las siguientes maneras:

Aplica la configuración personalizada a environments.json mediante la API de Dataform
Puedes conservar el archivo environments.json en tu repositorio y configurar un proceso de implementación continua con la herramienta que elijas. En el proceso de implementación continua, se actualizan las configuraciones de lanzamiento y de flujo de trabajo del archivo environment.json después de combinarlas con la rama predeterminada.
Omitir configuraciones de flujo de trabajo y de lanzamiento
Puedes omitir las configuraciones de lanzamiento y flujo de trabajo y usar la CLI de Dataform de código abierto, la API de Dataform o la API de Dataform junto con Cloud Composer o Workflows para compilar tu repositorio y ejecutar flujos de trabajo.

Migra alertas de flujo de trabajo

Dataform proporciona Cloud Logging para invocaciones de flujos de trabajo. Estos registros contienen la información que puede ser útil para supervisar y depurar los flujos de trabajo:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR.
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Puedes usar Cloud Logging junto con Cloud Monitoring para configurar alertas similares a las alertas heredadas.

Con Cloud Monitoring, puedes configurar las siguientes métricas y alertas:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro

Si deseas obtener más información, consulta Visualiza Cloud Logging para Dataform.

¿Qué sigue?