Migrer les anciens environnements et calendriers

L'ancien Dataform sera abandonné le 26 février 2024. Après cette date, vous n'aurez plus accès aux anciens projets. Ce document décrit comment migrer des environnements et des planifications de l'ancienne version de Dataform vers Dataform dans Google Cloud, avec des configurations de version et de workflow.

Dans l'ancien Dataform, vous définissiez des environnements et des planifications ensemble dans le fichier environments.json.

L'exemple de code suivant montre les définitions des environnements production et staging, ainsi que les planifications correspondantes dans un fichier environments.json de l'ancienne version de Dataform:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

Dans Dataform dans Google Cloud, la configuration d'environnements et de planifications est divisée en deux expériences:

Configurations de version
Semblable aux anciens environnements Dataform, ils permettent de configurer les paramètres de compilation de différents environnements, tels que staging et production.

Les configurations de version vous permettent de configurer des remplacements de commitish et de compilation Git pour personnaliser la création des résultats de compilation. Dataform crée des résultats de compilation à partir de configurations de version indépendamment des calendriers de configuration des workflows. Cela signifie que les exécutions planifiées des résultats de compilation à partir des configurations de version peuvent s'exécuter même si votre fournisseur Git distant n'est pas disponible.

Lorsque vous créez une configuration de version, vous pouvez définir la fréquence de création des résultats de compilation. Vous pouvez également créer un résultat de compilation à partir d'une configuration de version manuellement ou dans un processus de déploiement continu automatisé.

Configurations de workflows
Équivaut aux anciennes planifications Dataform. Utilisé pour planifier les exécutions des résultats de compilation à partir des configurations de version.

Tout d'abord, vous devez créer une configuration de version et définir des paramètres de compilation pour un environnement sélectionné, par exemple staging. Ensuite, créez une configuration de workflow et définissez le calendrier d'exécution des résultats de la compilation staging.

Méthodes de migration des environnements et des planifications

Vous pouvez migrer les anciens environnements et programmations vers des configurations de publication et des configurations de workflow de différentes manières:

Configurer les configurations de version et de workflow dans Dataform

Recréez des environnements en tant que configurations de publication et planifications en tant que configurations de workflow dans Dataform dans Google Cloud.

Accéder à la page Dataform

Configurer des versions et des configurations de workflow avec l'API Dataform

Utilisez l'API Dataform pour configurer des versions de version et des configurations de workflow.

Vous pouvez également migrer les anciens environnements et programmations comme suit:

Appliquez une configuration personnalisée à environments.json via l'API Dataform.
Vous pouvez conserver le fichier environments.json dans votre dépôt et configurer un processus de déploiement continu avec l'outil de votre choix. Dans le processus de déploiement continu, mettez à jour les configurations de version et les configurations de workflow à partir du fichier environment.json lors de la fusion avec la branche par défaut.
Contourner les configurations de version et de workflow
Vous pouvez contourner les configurations de version et de workflow, et utiliser la CLI Dataform Open Source, l'API Dataform ou l'API Dataform avec Cloud Composer ou Workflows pour compiler votre dépôt et exécuter des workflows.

Migrer les alertes de workflow

Dataform fournit Cloud Logging pour les appels de workflows. Ces journaux contiennent des informations utiles pour la surveillance et le débogage de vos workflows:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: il peut s'agir de INFO, WARNING ou ERROR.
  • terminalState : il peut s'agir de SUCCEEDED, ​CANCELED ou FAILED.
  • timestamp
  • @type

Vous pouvez utiliser Cloud Logging avec Cloud Monitoring pour configurer des alertes semblables à vos anciennes alertes.

Avec Cloud Monitoring, vous pouvez configurer les métriques et les alertes suivantes:

  • Les métriques basées sur les journaux, que vous pouvez utiliser comme suit :
    • Créer des règles d'alerte qui vous informent des modifications au fil du temps.
    • Créer des graphiques qui affichent les modifications au fil du temps.
  • Des alertes basées sur les journaux, qui vous avertissent chaque fois qu'un événement spécifique apparaît dans un journal.

Pour en savoir plus, consultez la page Afficher Cloud Logging pour Dataform.

Étapes suivantes