Gérer les ressources Dataflow à l'aide de contraintes personnalisées

Les règles d'administration Google Cloud vous offrent un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir une règle d'administration, c'est-à-dire un ensemble de restrictions appelées Contraintes qui s'appliquent aux ressources Google Cloud et aux descendants de ces ressources dans la Hiérarchie des ressources Google Cloud. Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Les règles d'administration fournissent des contraintes prédéfinies pour divers services Google Cloud. Toutefois, si vous souhaitez exercer un contrôle plus précis et personnalisable sur les champs spécifiques qui sont restreints par vos règles d'administration, vous pouvez également créer des règles d'administration personnalisées.

Avantages

Vous pouvez utiliser une règle d'organisation personnalisée pour autoriser ou refuser la création de jobs Dataflow avec des conditions basées sur les attributs de ressources compatibles, tels que le nom du job, son type et ses options de service.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une stratégie au niveau d'un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez la section Règles d'évaluation hiérarchique.

Tarifs

Le service de règles d'administration, y compris les règles d'administration prédéfinies et personnalisées, est proposé gratuitement.

Limites

  • Les contraintes personnalisées pour les ressources Dataflow Job ne peuvent être configurées qu'à l'aide de la console Google Cloud ou de Google Cloud CLI.

  • Les contraintes personnalisées ne peuvent être appliquées que sur la méthode CREATE pour les ressources Dataflow Job.

  • Les contraintes personnalisées nouvellement appliquées ne s'appliquent pas aux ressources existantes.

Avant de commencer

Pour en savoir plus sur les règles d'administration et leurs contraintes, ainsi que sur leur fonctionnement, consultez la section Présentation du service de règles d'administration.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer des règles d'administration, demandez à votre administrateur de vous accorder le rôle IAM Administrateur des règles d'administration (roles/orgpolicy.policyAdmin) dans l'organisation. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour gérer les règles d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour gérer les règles d'administration :

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une contrainte personnalisée

Une contrainte personnalisée est définie dans un fichier YAML, qui spécifie les ressources, méthodes, conditions et actions compatibles avec le service sur lequel vous appliquez la règle d'administration. Les conditions de vos contraintes personnalisées sont définies à l'aide du langage CEL (Common Expression Language). Pour en savoir plus sur la création de conditions dans des contraintes personnalisées à l'aide du CEL, consultez la section CEL de la page Créer et gérer des contraintes personnalisées.

Pour créer un fichier YAML afin de définir une contrainte personnalisée :

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Remplacez les éléments suivants :

  • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

  • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres (par exemple, custom.denyPrimeJobs). La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe (par exemple, organizations/123456789/customConstraints/custom).

  • RESOURCE_NAME : nom (pas l'URI) de la ressource REST de l'API Dataflow contenant l'objet et le champ que vous souhaitez restreindre. Exemple :Job

  • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Consultez la section Ressources compatibles pour en savoir plus sur les ressources disponibles pour l'écriture de conditions. Par exemple, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION : action à effectuer si la condition est remplie. Les valeurs acceptées sont ALLOW et DENY.

  • DISPLAY_NAME : nom convivial de la contrainte. Ce champ ne doit pas comporter plus de 200 caractères.

  • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères.

Pour en savoir plus sur la création d'une contrainte personnalisée, consultez la page Définir des contraintes personnalisées.

Configurer une contrainte personnalisée

Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint : 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Par exemple, /home/user/customconstraint.yaml. Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud. Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints : 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation. Pour en savoir plus, consultez la page Afficher les règles d'administration.

Appliquer une règle d'administration personnalisée

Vous pouvez appliquer une contrainte booléenne en créant une règle d'administration qui la référence et en appliquant cette règle d'administration à une ressource Google Cloud.

Console

  1. Dans la console Google Cloud, accédez à la page Règles d'administration.

    Accéder à la page Règles d'administration

  2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
  3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle associée.
  4. Pour configurer la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
  5. Sur la page Modifier la stratégie, sélectionnez Remplacer la stratégie parente.
  6. Cliquez sur Ajouter une règle.
  7. Dans la section Application, indiquez si l'application de cette règle d'administration doit être activée ou désactivée.
  8. Facultatif : Pour rendre la règle d'administration conditionnelle sur un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle inconditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez la section Définir une règle d'administration avec des tags.
  9. S'il s'agit d'une contrainte personnalisée, vous pouvez cliquer sur Tester les modifications pour simuler l'effet de cette règle d'administration. Pour en savoir plus, consultez la section Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
  10. Pour finaliser et appliquer la règle d'administration, cliquez sur Définir la règle. La prise en compte de la règle peut prendre jusqu'à 15 minutes.

gcloud

Pour créer une règle d'administration qui applique une contrainte booléenne, créez un fichier YAML de règle qui référence la contrainte : 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Remplacez les éléments suivants :

  • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
  • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée Par exemple, custom.denyPrimeJobs.

Pour appliquer la règle d'administration contenant la contrainte, exécutez la commande suivante : 

    gcloud org-policies set-policy POLICY_PATH

Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. La prise en compte de la règle peut prendre jusqu'à 15 minutes.

Exemple : créer une contrainte pour refuser la création d'un job avec Prime activé

gcloud

  1. Créez un fichier de contrainte denyPrimeJobs.yaml contenant les informations suivantes. Remplacez ORGANIZATION_ID par l'ID de votre organisation.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Définissez la contrainte personnalisée.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Créez un fichier de règle enforce-policy-denyPrimeJobs.yaml avec les informations ci-dessous. Dans cet exemple, la contrainte est appliquée au niveau du projet. Vous pouvez également définir cette contrainte au niveau de l'organisation ou du dossier. Remplacez PROJECT_ID par l'ID du projet.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Appliquez la règle en exécutant la commande suivante. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Pour tester la contrainte, essayez de créer un job Dataflow avec l'option enable_prime. Suivez le guide de démarrage rapide Créer un pipeline Dataflow à l'aide de Java afin de créer un job WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    Le résultat ressemble à celui de l'exemple ci-dessous.

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    Le journal d'audit doit afficher les détails de la non-conformité, comme suit : 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Champs d'expression pour les conditions

Le tableau suivant contient les champs d'expression que vous pouvez utiliser pour créer des conditions. Les conditions sont écrites en langage CEL (Common Expression Language). La valeur des champs d'expression est sensible à la casse.

Pour obtenir une description des champs d'expression suivants et des valeurs que vous pouvez spécifier, consultez la représentation JSON de la ressource Dataflow Job.

Champ d'expression Type de valeur
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Exemples de cas d'utilisation

Vous trouverez quelques exemples de cas d'utilisation dans le tableau suivant.

Cas d'utilisation Action Contrainte personnalisée
Interdire l'utilisation d'un job exécutant Prime REFUSER resource.environment.serviceOptions.exists(value, value=='enable_prime')
Empêcher les VM d'accepter les clés SSH stockées dans les métadonnées du projet. REFUSER !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Interdire les jobs pour lesquels le nombre maximal de secondes pendant lequel le job peut s'exécuter n'est pas défini REFUSER !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Étape suivante