Dans l'ancien Dataform, vous définissiez des environnements et des planifications ensemble dans le fichier environments.json
.
L'exemple de code suivant montre les définitions des environnements production
et staging
, ainsi que les planifications correspondantes dans un fichier environments.json
de l'ancienne version de Dataform:
// example of an environments.json file
{
"environments": [
{
"name": "production",
"configOverride": {},
"schedules": [
{
"name": "daily",
"cron": "30 14 * * *",
"tags": [
"daily"
]
},
{
"name": "hourly",
"cron": "*/5 * * * *",
"disabled": false
}
],
"gitRef": "master"
},
{
"name": "staging",
"configOverride": {
"schemaSuffix": "staging"
},
"schedules": [
{
"name": "daily (all)",
"cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
}
],
"gitRef": "master"
}
]
}
Dans Dataform dans Google Cloud, la configuration d'environnements et de planifications est divisée en deux expériences:
- Configurations de version
- Semblable aux anciens environnements Dataform, ils permettent de configurer les paramètres de compilation de différents environnements, tels que
staging
etproduction
.
Les configurations de version vous permettent de configurer des remplacements de commitish et de compilation Git pour personnaliser la création des résultats de compilation. Dataform crée des résultats de compilation à partir de configurations de version indépendamment des calendriers de configuration des workflows. Cela signifie que les exécutions planifiées des résultats de compilation à partir des configurations de version peuvent s'exécuter même si votre fournisseur Git distant n'est pas disponible.
Lorsque vous créez une configuration de version, vous pouvez définir la fréquence de création des résultats de compilation. Vous pouvez également créer un résultat de compilation à partir d'une configuration de version manuellement ou dans un processus de déploiement continu automatisé.
- Configurations de workflows
- Équivaut aux anciennes planifications Dataform. Utilisé pour planifier les exécutions des résultats de compilation à partir des configurations de version.
Tout d'abord, vous devez créer une configuration de version et définir des paramètres de compilation pour un environnement sélectionné, par exemple staging
. Ensuite, créez une configuration de workflow et définissez le calendrier d'exécution des résultats de la compilation staging
.
Méthodes de migration des environnements et des planifications
Vous pouvez migrer les anciens environnements et programmations vers des configurations de publication et des configurations de workflow de différentes manières:
- Configurer les configurations de version et de workflow dans Dataform
Recréez des environnements en tant que configurations de publication et planifications en tant que configurations de workflow dans Dataform dans Google Cloud.
- Configurer des versions et des configurations de workflow avec l'API Dataform
Utilisez l'API Dataform pour configurer des versions de version et des configurations de workflow.
Vous pouvez également migrer les anciens environnements et programmations comme suit:
- Appliquez une configuration personnalisée à
environments.json
via l'API Dataform. - Vous pouvez conserver le fichier
environments.json
dans votre dépôt et configurer un processus de déploiement continu avec l'outil de votre choix. Dans le processus de déploiement continu, mettez à jour les configurations de version et les configurations de workflow à partir du fichierenvironment.json
lors de la fusion avec la branche par défaut. - Contourner les configurations de version et de workflow
- Vous pouvez contourner les configurations de version et de workflow, et utiliser la CLI Dataform Open Source, l'API Dataform ou l'API Dataform avec Cloud Composer ou Workflows pour compiler votre dépôt et exécuter des workflows.
Migrer les alertes de workflow
Dataform fournit Cloud Logging pour les appels de workflows. Ces journaux contiennent des informations utiles pour la surveillance et le débogage de vos workflows:
receiveTimestamp
release_config_id
repository_id
resource_container
workflow_invocation_id
workflow_config_id
severity
: il peut s'agir deINFO
,WARNING
ouERROR
.terminalState
: il peut s'agir deSUCCEEDED
, CANCELED
ouFAILED
.timestamp
@type
Vous pouvez utiliser Cloud Logging avec Cloud Monitoring pour configurer des alertes semblables à vos anciennes alertes.
Avec Cloud Monitoring, vous pouvez configurer les métriques et les alertes suivantes:
- Les métriques basées sur les journaux, que vous pouvez utiliser comme suit :
- Créer des règles d'alerte qui vous informent des modifications au fil du temps.
- Créer des graphiques qui affichent les modifications au fil du temps.
- Des alertes basées sur les journaux, qui vous avertissent chaque fois qu'un événement spécifique apparaît dans un journal.
Pour en savoir plus, consultez la page Afficher Cloud Logging pour Dataform.
Étapes suivantes
- Pour savoir comment créer des configurations de version, consultez la section Créer une configuration de version.
- Pour découvrir comment créer des configurations de workflow, consultez Planifier des exécutions avec des configurations de workflow.
- Pour en savoir plus sur le cycle de vie du code dans Dataform, consultez la page Présentation du cycle de vie du code dans Dataform.
- Pour découvrir comment migrer de l'ancien Dataform vers Dataform dans Google Cloud, consultez la page Migrer depuis l'ancien Dataform.