Migra programas y entornos heredados

Dataform heredado dejará de estar disponible el 26 de febrero de 2024. Después de esa fecha, ya no podrás acceder a los proyectos heredados. En este documento, se describen las formas de migrar entornos y programas de Dataform heredado a Dataform en Google Cloud con configuraciones de lanzamiento y flujo de trabajo.

En Dataform heredado, definiste entornos y programas juntos en el archivo environments.json.

En la siguiente muestra de código, se muestran las definiciones de los entornos production y staging, y las programaciones correspondientes en un archivo environments.json de Dataform heredado:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

En Dataform en Google Cloud, la configuración de entornos y programas se divide en dos experiencias:

Configuraciones de lanzamiento
De manera similar a los entornos heredados de Dataform, se usan para definir la configuración de compilación para diferentes entornos, por ejemplo, staging y production.

Las configuraciones de lanzamiento te permiten configurar anulaciones de confirmación y compilación de Git para personalizar la creación de resultados de compilación. Dataform crea resultados de compilación a partir de las configuraciones de lanzamiento, independientemente de los programas de configuración del flujo de trabajo. Esto significa que las ejecuciones programadas de los resultados de compilación de las configuraciones de lanzamientos pueden ejecutarse incluso si tu proveedor de Git remoto no está disponible.

Cuando creas una configuración de lanzamiento, puedes establecer la frecuencia de creación de resultados de compilación. También puedes crear un resultado de compilación a partir de una configuración de lanzamiento de forma manual o en un proceso de implementación continua automatizada.

Configuraciones del flujo de trabajo
Equivale a las programaciones heredadas de Dataform, que se usan para programar ejecuciones de resultados de compilación de configuraciones de lanzamientos.

Primero, debes crear una configuración de lanzamiento y definir los ajustes de compilación para un entorno seleccionado, por ejemplo, staging. Luego, crea una configuración del flujo de trabajo y define el programa de ejecución de los resultados de la compilación de staging.

Formas de migrar entornos y programas

Puedes migrar programas y entornos heredados a parámetros de configuración de lanzamiento y configuraciones de flujo de trabajo de las siguientes maneras:

Establece la configuración de la versión y del flujo de trabajo en Dataform

Vuelve a crear entornos como configuraciones de lanzamiento y programas como configuraciones de flujo de trabajo dentro de Dataform en Google Cloud.

Ir a la página Dataform

Establece la configuración de la versión y del flujo de trabajo con la API de Dataform

Usa la API de Dataform para establecer configuraciones de lanzamiento y de flujo de trabajo.

Como alternativa, puedes migrar los entornos y programas heredados de las siguientes maneras:

Aplica la configuración personalizada a environments.json mediante la API de Dataform
Puedes dejar el archivo environments.json en tu repositorio y configurar un proceso de implementación continua con la herramienta que prefieras. En el proceso de implementación continua, actualiza las configuraciones de lanzamiento y las del flujo de trabajo del archivo environment.json después de combinarlas con la rama predeterminada.
Omitir configuraciones de actualizaciones y flujos de trabajo
Puedes omitir las configuraciones de lanzamiento y flujo de trabajo y usar la CLI de Dataform de código abierto, la API de Dataform o la API de Dataform junto con Cloud Composer o Workflows para compilar tu repositorio y ejecutar flujos de trabajo.

Migra alertas de flujo de trabajo

Dataform proporciona Cloud Logging para invocaciones de flujos de trabajo. Estos registros contienen la información que puede ser útil para supervisar y depurar tus flujos de trabajo:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: Puede ser INFO, WARNING o ERROR.
  • terminalState: Puede ser SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Puedes usar Cloud Logging junto con Cloud Monitoring para configurar alertas similares a las alertas heredadas.

Con Cloud Monitoring, puedes configurar las siguientes métricas y alertas:

  • Métricas basadas en registros, que puedes usar de la siguiente manera:
    • Para crear políticas de alertas que te notifiquen sobre cambios a lo largo del tiempo
    • Para crear gráficos que muestren cambios con el tiempo
  • Alertas basadas en registros, que te notifican cada vez que aparece un evento específico en un registro.

Para obtener más información, consulta Visualiza Cloud Logging para Dataform.

¿Qué sigue?