Configurer des instantanés programmés

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment configurer votre environnement pour enregistrer des instantanés sur un programmation.

Pour en savoir plus sur le fonctionnement des instantanés d'environnement et sur la façon d'enregistrer manuellement, consultez la section Enregistrer et charger des instantanés.

Fonctionnement des instantanés programmés

Lorsque vous activez les instantanés programmés, Cloud Composer enregistre des instantanés de votre environnement dans un bucket Cloud Storage.

Si vous créez des instantanés manuellement, Cloud Composer les enregistre dans bucket de l'environnement par défaut. Pour les instantanés programmés, d'enregistrer les instantanés dans un bucket distinct. De cette façon, vous pouvez configurer les autorisations requises et une configuration de cycle de vie pour ce bucket. Un bucket peut contenir des instantanés de plusieurs environnements. Vous pouvez aussi créer des buckets sont redondants entre les régions.

Avant de commencer

• Pour en savoir plus sur les exigences et les limites concernant les instantanés, consultez la section Enregistrez et chargez des instantanés.

• Cloud Composer est compatible avec les instantanés programmés à partir de la version 2.0.32. versions. Les instantanés d'environnement sont compatibles avec les versions 2.0.9 et ultérieures.

Créer un bucket pour les instantanés programmés

Créez un bucket pour les instantanés programmés. Réfléchissez à la façon dont vous voulez utiliser des instantanés d'environnement. Si elle fait partie de votre plan de reprise après sinistre, puis utilisez un qui est redondant entre les régions ou dans un bucket situé dans une autre région, ce qui vous permet d'accéder aux données une panne régionale complète. Sinon, un bucket situé dans la même région que l'environnement peut s'avérer plus adapté. Dans ce cas, vous réduisez les coûts de transfert entre régions.

Configurer les autorisations pour le bucket

Avertissement: Les instantanés peuvent contenir des informations sensibles, telles qu'Airflow des informations supplémentaires et des mots de passe de connexion, qui peuvent être déchiffrés un instantané d'environnement. Nous vous recommandons de limiter l'accès au bucket des entités de confiance.

Pour réduire ce risque de sécurité, vous pouvez stocker des informations sensibles utilisées par les DAG Airflow, tels que les clés ou les mots de passe, Secret Manager. Pour en savoir plus, consultez Configurez Secret Manager pour votre environnement.

Configurez les autorisations suivantes:

• Le compte de service de votre environnement doit avoir et les autorisations d'écriture pour ce bucket. Par exemple, Le rôle Administrateur des objets Storage dispose de ces autorisations.

• Les comptes utilisateur ne nécessitent aucune autorisation supplémentaire pour le bucket pour charger des instantanés à partir de celui-ci, sauf si vous souhaitez afficher le contenu dans la console Google Cloud. Dans ce cas, un compte utilisateur doit avoir sur le bucket.

Définir une configuration de cycle de vie pour le bucket

Pour réduire les coûts de stockage, vous pouvez configurer une règle qui supprime l'environnement après un certain temps.

Par exemple, pour supprimer automatiquement les instantanés de plus de 30 jours:

1. Définissez une configuration de cycle de vie pour le bucket.
2. Spécifiez l'action Supprimer l'objet.
3. Sélectionnez la condition Âge et 30 jours.

Activer une programmation d'instantanés pour votre environnement

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans Configuration de la récupération > Programmation des instantanés, cliquez sur Modifier : Le volet Programmation des instantanés s'ouvre.

5. Dans le volet Programmation des instantanés, sélectionnez Créer des instantanés à intervalles réguliers. en fonction du calendrier spécifié.

6. Dans la liste déroulante Fréquence de programmation, sélectionnez une fréquence quotidienne, hebdomadaire ou personnalisée pour les instantanés.

   Vous pouvez spécifier un calendrier personnalisé à l'aide du paramètre format unix-cron. Par exemple, pour enregistrer des instantanés toutes les 30 minutes, spécifiez */30 * * * *.

   Important: Les limites de quota permettent jusqu'à 52 opérations d'enregistrement d'instantanés par jour pour dans un environnement unique. Pour prendre des instantanés programmés à intervalles réguliers l'intervalle qui les sépare doit être d'au moins 30 minutes.

7. Dans le champ Emplacement de l'instantané, sélectionnez le dossier du bucket dans lequel vous voulez enregistrer des instantanés.

gcloud

Mettez à jour la configuration de votre environnement. Les arguments suivants définissent pour les instantanés programmés:

• --enable-scheduled-snapshot-creation active les instantanés programmés.
• --snapshot-location spécifie un dossier de bucket dans lequel vous voulez enregistrer des instantanés.

• --snapshot-creation-schedule spécifie la fréquence des instantanés d'environnement doivent être réalisés, le format unix-cron. Par exemple, pour créer un instantané toutes les 30 minutes, spécifiez */30 * * * *.

  Important: Les limites de quota permettent jusqu'à 52 opérations d'enregistrement d'instantanés par jour pour dans un environnement unique. Pour prendre des instantanés programmés à intervalles réguliers l'intervalle qui les sépare doit être d'au moins 30 minutes.

• --snapshot-schedule-timezone définit un fuseau horaire pour la planification. Ce est un horodatage et ne tient pas compte de l'heure d'été. des modifications. Les valeurs valides sont comprises entre UTC-12 et UTC+12. Exemples : UTC, UTC-01, UTC+03.

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://SNAPSHOTS_FOLDER" \
    --snapshot-creation-schedule "CRON_EXPRESSION" \
    --snapshot-schedule-timezone "TIME_ZONE"

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.
• SNAPSHOTS_FOLDER par l'URI d'un dossier de bucket dans lequel enregistrez l'instantané.
• CRON_EXPRESSION par le calendrier, dans le format unix-cron.
• TIME_ZONE par le fuseau horaire de la planification.

Exemple (tous les jours à 4h00, UTC+01) :

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://example-bucket/environment_snapshots" \
    --snapshot-creation-schedule "0 4 * * *" \
    --snapshot-schedule-timezone "UTC+01"

API

Rédigez une requête API environments.patch.

Dans cette requête :

1. Dans le paramètre updateMask, spécifiez la Masque config.recoveryConfig.scheduledSnapshotsConfig pour remplacer la configuration existante des instantanés programmés.

2. Dans le corps de la requête, spécifiez la configuration des instantanés:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": true,
           "snapshot_location": "gs://SNAPSHOTS_FOLDER",
           "snapshot_creation_schedule": "CRON_EXPRESSION",
           "time_zone": "TIME_ZONE"
         }
       }
     }
   }
   

   Remplacez :

   • SNAPSHOTS_FOLDER par l'URI d'un dossier de bucket dans lequel enregistrez l'instantané.

   • CRON_EXPRESSION par le calendrier, dans le format unix-cron.

     Important: Les limites de quota permettent jusqu'à 52 opérations d'enregistrement d'instantanés par jour pour dans un environnement unique. Pour prendre des instantanés programmés à intervalles réguliers l'intervalle qui les sépare doit être d'au moins 30 minutes.

   • TIME_ZONE par le fuseau horaire de la planification. Ce est un horodatage qui ne tient pas compte de l'heure d'été. les changements d'heure. Les valeurs valides sont comprises entre UTC-12 et UTC+12. Exemples: UTC, UTC-01 et UTC+03.

   Exemple (tous les jours à 4h00, UTC+01) :

     // PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
     // locations/us-central1/environments/example-environment?updateMask=
     // config.recoveryConfig.scheduledSnapshotsConfig
       {
         "config": {
           "recoveryConfig": {
             "scheduledSnapshotsConfig": {
               "enabled": true,
               "snapshot_location": "gs://example-bucket/environment_snapshots",
               "snapshot_creation_schedule": "0 4 * * *",
               "time_zone": "UTC+01"
             }
           }
         }
       }
   

Terraform

scheduled_snapshots_config dans le bloc recovery_config définit pour les instantanés programmés:

• enabled active les instantanés programmés.
• snapshot_location spécifie un dossier de bucket dans lequel vous souhaitez enregistrer le bucket. instantanés.
• snapshot_creation_schedule spécifie la fréquence des instantanés d'environnement doivent être réalisés, le format unix-cron. Par exemple, pour créer un instantané toutes les 30 minutes, spécifiez */30 * * * *.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://SNAPSHOTS_FOLDER"
      snapshot_creation_schedule = "CRON_EXPRESSION"
      time_zone = "TIME_ZONE"
    }
  }
}

Remplacez :

• SNAPSHOTS_FOLDER par l'URI d'un dossier de bucket dans lequel enregistrez l'instantané.

• CRON_EXPRESSION par le calendrier, dans le format unix-cron.

  Important: Les limites de quota permettent jusqu'à 52 opérations d'enregistrement d'instantanés par jour pour dans un environnement unique. Pour prendre des instantanés programmés à intervalles réguliers doivent être d'au moins 30 minutes.

• TIME_ZONE par le fuseau horaire de la planification. Ce est un horodatage qui ne tient pas compte de l'heure d'été. les changements d'heure. Les valeurs valides sont comprises entre UTC-12 et UTC+12. Exemples: UTC, UTC-01 et UTC+03.

Exemple (tous les jours à 4h00, UTC+01) :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://example-bucket/environment_snapshots"
      snapshot_creation_schedule = "0 4 * * *"
      time_zone = "UTC+01"
    }
  }
}

Désactiver les instantanés programmés

Si vous désactivez les instantanés programmés, tous les instantanés existants qui étaient déjà prises ne sont ni modifiés, ni supprimés. Ces instantanés restent à l'emplacement où elles ont été enregistrées.

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans Configuration de la récupération > Programmation des instantanés, cliquez sur Modifier : Le volet Programmation des instantanés s'ouvre.

5. Dans le volet Programmation des instantanés, sélectionnez Ne pas créer d'instantanés. automatiquement.

gcloud

Mettez à jour la configuration de votre environnement. La L'argument --disable-scheduled-snapshot-creation désactive la programmation instantanés.

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-scheduled-snapshot-creation

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.

Exemple :

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --disable-scheduled-snapshot-creation

API

Rédigez une requête API environments.patch.

Dans cette requête :

1. Dans le paramètre updateMask, spécifiez la Masque config.recoveryConfig.scheduledSnapshotsConfig.enabled pour remplacer la valeur du champ enabled.

2. Dans le corps de la requête, spécifiez la nouvelle valeur:

   {
     "config": {
       "recoveryConfig": {
         "scheduledSnapshotsConfig": {
           "enabled": false
         }
       }
     }
   }
   

Exemple :

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.recoveryConfig.scheduledSnapshotsConfig.enabled
{
"config": {
  "recoveryConfig": {
    "scheduledSnapshotsConfig": {
      "enabled": false
    }
  }
}
}

Terraform

Pour désactiver les instantanés programmés, définissez le champ enabled dans Bloc scheduled_snapshots_config vers false:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
    }
  }
}

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
      // Other scheduled snapshots parameters
    }
  }
}

Étape suivante

• Enregistrer et charger des instantanés d'environnement
• Reprise après sinistre avec des instantanés
• Contrôle des accès