Créer un cluster multi-tenant à l'aide de Terraform

Un cluster multi-tenant dans l'édition Enterprise de Google Kubernetes Engine (GKE) est un cluster Kubernetes partagé par plusieurs équipes ou utilisateurs distincts, appelés locataires. Chaque locataire dispose généralement de son propre ensemble de ressources et d'applications dans le cluster.

Ce tutoriel Terraform vous permet de créer rapidement un cluster GKE Enterprise partagé par deux équipes, backend et frontend, qui peuvent déployer des charges de travail spécifiques à l'équipe sur le cluster. Dans ce tutoriel, nous partons du principe que vous connaissez déjà Terraform. Sinon, vous pouvez utiliser les ressources suivantes pour vous familiariser avec les principes de base de Terraform:

Avant de commencer

Procédez comme suit pour activer l'API Kubernetes Engine :

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the GKE, GKE Hub, Cloud SQL, Resource Manager, IAM, Connect gateway APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the GKE, GKE Hub, Cloud SQL, Resource Manager, IAM, Connect gateway APIs.

    Enable the APIs

  8. Make sure that you have the following role or roles on the project: roles/owner, roles/iam.serviceAccountTokenCreator

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Accéder à IAM
    2. Sélectionnez le projet.
    3. Cliquez sur Accorder l'accès.
    4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

    5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
    6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.
    7. Cliquez sur Enregistrer.

Préparer l'environnement

Dans ce tutoriel, vous utilisez Cloud Shell pour gérer les ressources hébergées surGoogle Cloud. Cloud Shell est préinstallé avec les logiciels dont vous avez besoin dans ce tutoriel, y compris Terraform, kubectl et Google Cloud CLI.

  1. Lancez une session Cloud Shell depuis la console Google Cloud en cliquant sur l'icône d'activation Cloud Shell Activer Cloud Shell Bouton d'activation de Cloud Shell. Une session s'ouvre dans le volet inférieur de la console Google Cloud.

    Les identifiants de service associés à cette machine virtuelle sont automatiques. Vous n'avez donc pas besoin de configurer ni de télécharger une clé de compte de service.

  2. Avant d'exécuter des commandes, définissez votre projet par défaut dans gcloud CLI à l'aide de la commande suivante :

    gcloud config set project PROJECT_ID
    

    Remplacez PROJECT_ID par votre ID de projet.

  3. Clonez le dépôt GitHub.

    git clone https://github.com/terraform-google-modules/terraform-docs-samples.git --single-branch
    
  4. Accédez au répertoire de travail :

    cd terraform-docs-samples/gke/quickstart/multitenant
    

Examiner les fichiers Terraform

Le fournisseurGoogle Cloud est un plug-in qui vous permet de gérer et de provisionner des ressources Google Cloud à l'aide de Terraform. Il sert de passerelle entre les configurations Terraform et les APIGoogle Cloud , ce qui vous permet de définir de manière déclarative des ressources d'infrastructure, telles que des machines virtuelles et des réseaux.

  1. Examinez le fichier main.tf, qui décrit une ressource de cluster GKE Enterprise:

    cat main.tf
    

    Le résultat ressemble à ce qui suit :

    resource "google_container_cluster" "default" {
      name               = "gke-enterprise-cluster"
      location           = "us-central1"
      initial_node_count = 3
      fleet {
        project = data.google_project.default.project_id
      }
      workload_identity_config {
        workload_pool = "${data.google_project.default.project_id}.svc.id.goog"
      }
      security_posture_config {
        mode               = "BASIC"
        vulnerability_mode = "VULNERABILITY_ENTERPRISE"
      }
      depends_on = [
        google_gke_hub_feature.policycontroller,
        google_gke_hub_namespace.default
      ]
      # Set `deletion_protection` to `true` will ensure that one cannot
      # accidentally delete this instance by use of Terraform.
      deletion_protection = false
    }
    
    resource "google_gke_hub_membership_binding" "default" {
      for_each = google_gke_hub_scope.default
    
      project               = data.google_project.default.project_id
      membership_binding_id = each.value.scope_id
      scope                 = each.value.name
      membership_id         = google_container_cluster.default.fleet[0].membership_id
      location              = google_container_cluster.default.fleet[0].membership_location
    }

Créer un cluster et une base de données SQL

  1. Dans Cloud Shell, exécutez la commande suivante pour vérifier que Terraform est disponible :

    terraform
    

    La sortie devrait ressembler à ce qui suit :

    Usage: terraform [global options] <subcommand> [args]
    
    The available commands for execution are listed below.
    The primary workflow commands are given first, followed by
    less common or more advanced commands.
    
    Main commands:
      init          Prepare your working directory for other commands
      validate      Check whether the configuration is valid
      plan          Show changes required by the current configuration
      apply         Create or update infrastructure
      destroy       Destroy previously-created infrastructure
    
  2. Initialisez Terraform :

    terraform init
    
  3. Facultatif: Planifiez la configuration Terraform:

    terraform plan
    
  4. Appliquer la configuration Terraform

    terraform apply
    

    Lorsque vous y êtes invité, saisissez yes pour confirmer les actions. Cette commande peut prendre plusieurs minutes. Le résultat ressemble à ce qui suit :

    Apply complete! Resources: 23 added, 0 changed, 0 destroyed.
    

Déployer l'application de l'équipe backend

  1. Examinez le fichier Terraform suivant:

    cat backend.yaml
    

    La sortie devrait ressembler à ce qui suit :

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: backend-configmap
      namespace: backend-team
      labels:
        app: backend
    data:
      go.mod: |
        module multitenant
    
        go 1.22
    
        require github.com/go-sql-driver/mysql v1.8.1
    
        require filippo.io/edwards25519 v1.1.0 // indirect
    
      go.sum: |
        filippo.io/edwards25519 v1.1.0 h1:FNf4tywRC1HmFuKW5xopWpigGjJKiJSV0Cqo0cJWDaA=
        filippo.io/edwards25519 v1.1.0/go.mod h1:BxyFTGdWcka3PhytdK4V28tE5sGfRvvvRV7EaN4VDT4=
        github.com/go-sql-driver/mysql v1.8.1 h1:LedoTUt/eveggdHS9qUFC1EFSa8bU2+1pZjSRpvNJ1Y=
        github.com/go-sql-driver/mysql v1.8.1/go.mod h1:wEBSXgmK//2ZFJyE+qWnIsVGmvmEKlqwuVSjsCm7DZg=
    
      backend.go: |
        package main
    
        import (
          "database/sql"
          "fmt"
          "log"
          "math/rand"
          "net/http"
          "os"
    
          _ "github.com/go-sql-driver/mysql"
        )
    
        func main() {
          mux := http.NewServeMux()
          mux.HandleFunc("/", frontend)
    
          port := "8080"
    
          log.Printf("Server listening on port %s", port)
          log.Fatal(http.ListenAndServe(":"+port, mux))
        }
    
        func frontend(w http.ResponseWriter, r *http.Request) {
          log.Printf("Serving request: %s", r.URL.Path)
    
          host, _ := os.Hostname()
          fmt.Fprintf(w, "Backend!\n")
          fmt.Fprintf(w, "Hostname: %s\n", host)
    
          // Open database using cloud-sql-proxy sidecar
          db, err := sql.Open("mysql", "multitenant-app@tcp/multitenant-app")
          if err != nil {
            fmt.Fprintf(w, "Error: %v\n", err)
            return
          }
    
          // Create metadata Table if not exists
          _, err = db.Exec("CREATE TABLE IF NOT EXISTS metadata (metadata_key varchar(255) NOT NULL, metadata_value varchar(255) NOT NULL, PRIMARY KEY (metadata_key))")
          if err != nil {
            fmt.Fprintf(w, "Error: %v\n", err)
            return
          }
    
          // Pick random primary color
          var color string
          randInt := rand.Intn(3) + 1
          switch {
          case randInt == 1:
            color = "red"
          case randInt == 2:
            color = "green"
          case randInt == 3:
            color = "blue"
          }
    
          // Set color in database
          _, err = db.Exec(fmt.Sprintf("REPLACE INTO metadata (metadata_key, metadata_value) VALUES ('color', '%s')", color))
          if err != nil {
            fmt.Fprintf(w, "Error: %v\n", err)
            return
          }
    
          fmt.Fprintf(w, "Set Color: %s\n", color)
        }
    
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: backendweb
      namespace: backend-team
      labels:
        app: backend
    spec:
      selector:
        matchLabels:
          app: backend
          tier: web
      template:
        metadata:
          labels:
            app: backend
            tier: web
        spec:
          containers:
          - name: backend-container
            image: golang:1.22
            command: ["go"]
            args: ["run", "."]
            workingDir: "/tmp/backend"
            volumeMounts:
              - name: backend-configmap
                mountPath: /tmp/backend/
                readOnly: true
          - name: cloud-sql-proxy
            image: gcr.io/cloud-sql-connectors/cloud-sql-proxy:2.11.4
            args:
              - "--structured-logs"
              - "--port=3306"
              - "$(CONNECTION_NAME_KEY)"
            securityContext:
              runAsNonRoot: true
            env:
            - name: CONNECTION_NAME_KEY
              valueFrom:
                configMapKeyRef:
                  name: database-configmap
                  key: CONNECTION_NAME
          volumes:
            - name: backend-configmap
              configMap: { name: backend-configmap }
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: backendweb
      namespace: backend-team
      labels:
        app: backend
      annotations:
        networking.gke.io/load-balancer-type: "Internal" # Remove to create an external loadbalancer
    spec:
      selector:
        app: backend
        tier: web
      ports:
      - port: 80
        targetPort: 8080
      type: LoadBalancer

    Ce fichier décrit les ressources suivantes :

    • Déploiement avec un exemple d'application.
    • Un service de type LoadBalancer. Le service expose le déploiement sur le port 80. Pour exposer votre application sur Internet, configurez un équilibreur de charge externe en supprimant l'annotation networking.gke.io/load-balancer-type.
  2. Dans Cloud Shell, exécutez la commande suivante pour usurper l'identité du compte de service de l'équipe backend:

    gcloud config set auth/impersonate_service_account backend@PROJECT_ID.iam.gserviceaccount.com
    

    Remplacez PROJECT_ID par votre ID de projet.

  3. Récupérez les identifiants du cluster à l'aide de la commande suivante :

    gcloud container fleet memberships get-credentials gke-enterprise-cluster --location us-central1
    
  4. Appliquez le fichier manifeste de l'équipe backend au cluster:

    kubectl apply -f backend.yaml
    

Vérifier que l'application backend fonctionne

Procédez comme suit pour vérifier que votre cluster fonctionne correctement :

  1. Accédez à la page Charges de travail dans la console Google Cloud :

    Accéder à la page Charges de travail

  2. Cliquez sur la charge de travail backend. La page des détails du pod s'affiche. Cette page affiche des informations sur le pod, telles que les annotations, les conteneurs s'exécutant sur le pod, les services exposant le pod, mais aussi les métriques telles que l'utilisation du processeur, de la mémoire et du disque.

  3. Cliquez sur le Service LoadBalancer backend. La page "Informations sur le service" s'affiche. Cette page affiche des informations sur le service, telles que les pods associés et les ports utilisés par les services.

  4. Dans la section Points de terminaison, cliquez sur le lien IPv4 pour afficher votre service dans le navigateur. Le résultat ressemble à ce qui suit :

    Backend!
    Hostname: backendweb-765f6c4fc9-cl7jx
    Set Color: green
    

    Chaque fois qu'un utilisateur accède au point de terminaison du backend, le service choisit et stocke de manière aléatoire une couleur parmi le rouge, le vert ou le bleu dans la base de données partagée.

Déployer une application d'équipe frontend

  1. Examinez le fichier Terraform suivant:

    cat frontend.yaml
    

    La sortie devrait ressembler à ce qui suit :

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: frontend-configmap
      namespace: frontend-team
      labels:
        app: frontend
    data:
      go.mod: |
        module multitenant
    
        go 1.22
    
        require github.com/go-sql-driver/mysql v1.8.1
    
        require filippo.io/edwards25519 v1.1.0 // indirect
    
      go.sum: |
        filippo.io/edwards25519 v1.1.0 h1:FNf4tywRC1HmFuKW5xopWpigGjJKiJSV0Cqo0cJWDaA=
        filippo.io/edwards25519 v1.1.0/go.mod h1:BxyFTGdWcka3PhytdK4V28tE5sGfRvvvRV7EaN4VDT4=
        github.com/go-sql-driver/mysql v1.8.1 h1:LedoTUt/eveggdHS9qUFC1EFSa8bU2+1pZjSRpvNJ1Y=
        github.com/go-sql-driver/mysql v1.8.1/go.mod h1:wEBSXgmK//2ZFJyE+qWnIsVGmvmEKlqwuVSjsCm7DZg=
    
      frontend.go: |
        package main
    
        import (
          "database/sql"
          "fmt"
          "log"
          "net/http"
          "os"
    
          _ "github.com/go-sql-driver/mysql"
        )
    
        func main() {
          mux := http.NewServeMux()
          mux.HandleFunc("/", frontend)
    
          port := "8080"
    
          log.Printf("Server listening on port %s", port)
          log.Fatal(http.ListenAndServe(":"+port, mux))
        }
    
        func frontend(w http.ResponseWriter, r *http.Request) {
          log.Printf("Serving request: %s", r.URL.Path)
    
          host, _ := os.Hostname()
          fmt.Fprintf(w, "Frontend!\n")
          fmt.Fprintf(w, "Hostname: %s\n", host)
    
          // Open database using cloud-sql-proxy sidecar
          db, err := sql.Open("mysql", "multitenant-app@tcp/multitenant-app")
          if err != nil {
            fmt.Fprint(w, "Error: %v\n", err)
            return
          }
    
          // Retrieve color from the database
          var color string
          err = db.QueryRow("SELECT metadata_value FROM metadata WHERE metadata_key='color'").Scan(&color)
          switch {
          case err == sql.ErrNoRows:
            fmt.Fprintf(w, "Error: color not found in database\n")
          case err != nil:
            fmt.Fprintf(w, "Error: %v\n", err)
          default:
            fmt.Fprintf(w, "Got Color: %s\n", color)
          }
        }
    
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: frontendweb
      namespace: frontend-team
      labels:
        app: frontend
    spec:
      selector:
        matchLabels:
          app: frontend
          tier: web
      template:
        metadata:
          labels:
            app: frontend
            tier: web
        spec:
          containers:
          - name: frontend-container
            image: golang:1.22
            command: ["go"]
            args: ["run", "."]
            workingDir: "/tmp/frontend"
            volumeMounts:
              - name: frontend-configmap
                mountPath: /tmp/frontend/
                readOnly: true
          - name: cloud-sql-proxy
            image: gcr.io/cloud-sql-connectors/cloud-sql-proxy:2.11.4
            args:
              - "--structured-logs"
              - "--port=3306"
              - "$(CONNECTION_NAME_KEY)"
            securityContext:
              runAsNonRoot: true
            env:
            - name: CONNECTION_NAME_KEY
              valueFrom:
                configMapKeyRef:
                  name: database-configmap
                  key: CONNECTION_NAME
          volumes:
            - name: frontend-configmap
              configMap: { name: frontend-configmap }
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: frontendweb
      namespace: frontend-team
      labels:
        app: frontend
      annotations:
        networking.gke.io/load-balancer-type: "Internal" # Remove to create an external loadbalancer
    spec:
      selector:
        app: frontend
        tier: web
      ports:
      - port: 80
        targetPort: 8080
      type: LoadBalancer

    Ce fichier décrit les ressources suivantes :

    • Déploiement avec un exemple d'application.
    • Un service de type LoadBalancer. Le service expose le déploiement sur le port 80. Pour exposer votre application sur Internet, configurez un équilibreur de charge externe en supprimant l'annotation networking.gke.io/load-balancer-type.
  2. Dans Cloud Shell, exécutez la commande suivante pour usurper l'identité du compte de service de l'équipe de frontend:

    gcloud config set auth/impersonate_service_account frontend@PROJECT_ID.iam.gserviceaccount.com
    

    Remplacez PROJECT_ID par votre ID de projet.

  3. Récupérez les identifiants du cluster à l'aide de la commande suivante :

    gcloud container fleet memberships get-credentials gke-enterprise-cluster --location us-central1
    
  4. Appliquez le fichier manifeste de l'équipe de frontend au cluster:

    kubectl apply -f frontend.yaml
    

Vérifier que l'application frontale fonctionne

Procédez comme suit pour vérifier que votre cluster fonctionne correctement :

  1. Accédez à la page Charges de travail dans la console Google Cloud :

    Accéder à la page Charges de travail

  2. Cliquez sur la charge de travail frontend. La page des détails du pod s'affiche. Cette page affiche des informations sur le pod, telles que les annotations, les conteneurs s'exécutant sur le pod, les services exposant le pod, mais aussi les métriques telles que l'utilisation du processeur, de la mémoire et du disque.

  3. Cliquez sur le Service LoadBalancer frontend. La page "Informations sur le service" s'affiche. Cette page affiche des informations sur le service, telles que les pods associés et les ports utilisés par les services.

  4. Dans la section Points de terminaison, cliquez sur le lien IPv4 pour afficher votre service dans le navigateur. Le résultat ressemble à ce qui suit :

    Frontend!
    Hostname: frontendweb-5cd888d88f-gwwtc
    Got Color: green
    

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud , procédez comme suit :

  1. Dans Cloud Shell, exécutez cette commande pour désactiver l'impersonnalisation du compte de service:

    gcloud config unset auth/impersonate_service_account
    
  2. Exécutez la commande suivante pour supprimer les ressources Terraform:

    terraform destroy --auto-approve
    

Étape suivante