Stai visualizzando la documentazione di Service Mesh legacy v1.18.

Versioni disponibili

Cloud Service Mesh
Archivio 1.22
Archivio 1.21
Archivio 1.20
Archivio 1.19
Archivio 1.18

Questa pagina è stata tradotta dall'API Cloud Translation.

Migliora la sicurezza della tua app con Cloud Service Mesh, Config Sync e Policy Controller

Questo tutorial mostra come migliorare la strategia di sicurezza del cluster e dell'app. Immagina di essere un amministratore della piattaforma la cui organizzazione gestisce le app per il proprio negozio online con Cloud Service Mesh, una suite di strumenti che ti aiuta a monitorare e gestire un service mesh affidabile. È tua responsabilità garantire la sicurezza della tua mesh e delle tue app.

Puoi evitare errori di configurazione e convalidare automaticamente i criteri di Cloud Service Mesh utilizzando Policy Controller e Config Sync. Policy Controller consente l'applicazione di criteri completamente programmabili per nei cluster. Policy Controller include anche una libreria predefinita di modelli di vincolo che puoi utilizzare con Pacchetto di sicurezza Cloud Service Mesh per verificare la conformità delle vulnerabilità e le best practice della sicurezza mesh. Config Sync riconcilia continuamente lo stato dei cluster con un set centrale di file di configurazione dichiarativa di Kubernetes. L'utilizzo congiunto di Policy Controller e Config Sync ti consente di applicare continuamente limitazioni alle configurazioni dei criteri di Cloud Service Mesh.

Il seguente diagramma mostra una panoramica di come Cloud Service Mesh, Policy Controller e Config Sync collaborano in questo tutorial per gestire e proteggere un gateway di ingresso e le app di esempio di Online Boutique che utilizzi in questo tutorial:

Un diagramma che mostra l'architettura creata per questo tutorial

Obiettivi

Crea un cluster Google Kubernetes Engine (GKE) e registralo in un parco risorse.
Installa Policy Controller, Config Sync e Cloud Service Mesh su un cluster.
Configura Config Sync per sincronizzare più repository
Applica le best practice per eseguire il deployment di configurazioni, app e risorse Istio con Config Sync.
Esegui il deployment delle configurazioni del cluster, delle app di esempio Online Boutique e di un gateway di ingresso con Config Sync.
Sfrutta la Pacchetto di criteri di Cloud Service Mesh di Policy Controller per applicare le seguenti best practice per la sicurezza:
- Assicurati che tutti i carichi di lavoro nel mesh abbiano l'iniezione automatica di sidecar.
- Crittografa tutto il traffico nella rete mesh.
- Garantire che tutti i carichi di lavoro nel mesh dispongano di un controllo dell'accesso granulare.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

GKE.
GKE Enterprise. The billing for GKE Enterprise includes billing for the Cloud Service Mesh, Config Sync, and Policy Controller.

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.

Prima di iniziare

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Make sure that billing is enabled for your Google Cloud project.

prepara l'ambiente

In questa sezione, preparerai l'ambiente in modo da poter installare Cloud Service Mesh, Policy Controller e Config Sync:

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell
Esegui l'upgrade alla versione più recente di Google Cloud CLI:
```
gcloud components update
```
Per archiviare i file che crei in questo tutorial, crea una directory:
```
mkdir ~/asm-acm-tutorial-dir
```
Per semplificare il resto del tutorial, crea le seguenti variabili di ambiente:
```
PROJECT_ID=PROJECT_ID
gcloud config set project $PROJECT_ID
CLUSTER=asm-acm-tutorial
CLUSTER_ZONE=us-east4-a
MEMBERSHIP=asm-acm-tutorial
PROJECT_NUMBER=$(gcloud projects describe ${PROJECT_ID} --format='get(projectNumber)')
```
Sostituisci PROJECT_ID con l'ID progetto che vuoi utilizzare per questo tutorial.

Se ti viene chiesto di autorizzare Cloud Shell, fai clic su Autorizza per per completare l'operazione.

Abilita le API necessarie per questo tutorial:

gcloud

gcloud services enable \
    mesh.googleapis.com \
    anthos.googleapis.com

Config Connector

Questo tutorial include Config Connector Google Cloud. Puoi utilizzare queste risorse per completare le stesse attività completa nella scheda gcloud. Per utilizzare queste risorse, installa Config Connector e applicare le risorse nel modo più adatto al tuo ambiente.

Utilizza il seguente manifest Services:

apiVersion: serviceusage.cnrm.cloud.google.com/v1beta1
kind: Service
metadata:
  annotations:
    cnrm.cloud.google.com/deletion-policy: "abandon"
    cnrm.cloud.google.com/disable-dependent-services: "false"
  name: mesh.googleapis.com
spec:
  resourceID: mesh.googleapis.com
  projectRef:
    external: PROJECT_ID
---
apiVersion: serviceusage.cnrm.cloud.google.com/v1beta1
kind: Service
metadata:
  annotations:
    cnrm.cloud.google.com/deletion-policy: "abandon"
    cnrm.cloud.google.com/disable-dependent-services: "false"
  name: anthos.googleapis.com
spec:
  resourceID: anthos.googleapis.com
  projectRef:
    external: PROJECT_ID

Il completamento dell'operazione può richiedere più di un minuto.

configura un cluster GKE

In questa sezione devi creare un cluster GKE e quindi registrare in un parco. I parchi risorse sono un concetto di Google Cloud per l'organizzazione logica dei cluster e di altre risorse; ti consentono di utilizzare e gestire le funzionalità multi-cluster e di applicare criteri coerenti in tutti i tuoi sistemi.

Il cluster che crei in questa sezione è quello che installi Cloud Service Mesh, Policy Controller e Config Sync attivi. È anche il cluster in cui esegui il deployment delle app di esempio Online Boutique.

Per configurare il cluster, completa i seguenti passaggi:

Crea un cluster GKE:

gcloud

gcloud container clusters create ${CLUSTER} \
    --zone ${CLUSTER_ZONE} \
    --machine-type=e2-standard-4 \
    --num-nodes 4 \
    --workload-pool ${PROJECT_ID}.svc.id.goog \
    --labels mesh_id=proj-${PROJECT_NUMBER}

Config Connector

Utilizza i seguenti manifest ContainerCluster e ContainerNodePool:

apiVersion: container.cnrm.cloud.google.com/v1beta1
kind: ContainerNodePool
metadata:
  annotations:
    cnrm.cloud.google.com/project-id: PROJECT_ID
  name: asm-acm-tutorial
spec:
  clusterRef:
    name: asm-acm-tutorial
  location: us-east4-a
  nodeConfig:
    machineType: e2-standard-4
  nodeCount: 4
---
apiVersion: container.cnrm.cloud.google.com/v1beta1
kind: ContainerCluster
metadata:
  annotations:
    cnrm.cloud.google.com/project-id: PROJECT_ID
    cnrm.cloud.google.com/remove-default-node-pool: "true"
  labels:
    mesh_id: proj-PROJECT_NUMBER
  name: asm-acm-tutorial
spec:
  location: us-east4-a
  initialNodeCount: 1
  workloadIdentityConfig:
    workloadPool: PROJECT_ID.svc.id.goog

Sostituisci PROJECT_NUMBER con il valore dell'ambiente PROJECT_NUMBER recuperata in precedenza.

Questa operazione può richiedere più di cinque minuti.

Per assicurarti che la creazione del cluster GKE sia andata a buon fine, descrivi il suo stato:

gcloud container clusters list \
    --zone ${CLUSTER_ZONE} \
    --project ${PROJECT_ID}

L'output è simile al seguente:

NAME                LOCATION      MASTER_VERSION   MASTER_IP      MACHINE_TYPE   NODE_VERSION     NUM_NODES  STATUS
asm-acm-tutorial    us-east4-a    1.23.12-gke.100  35.186.179.30  e2-standard-4  1.23.12-gke.100  3          RUNNING

Connettiti al cluster GKE:

gcloud container clusters get-credentials ${CLUSTER} \
    --zone ${CLUSTER_ZONE} \
    --project ${PROJECT_ID}

Registra il cluster in un parco risorse:

gcloud

gcloud container fleet memberships register ${MEMBERSHIP} \
    --project ${PROJECT_ID} \
    --gke-cluster ${CLUSTER_ZONE}/${CLUSTER} \
    --enable-workload-identity

L'output è simile al seguente:

kubeconfig entry generated for asm-acm-tutorial.
Waiting for membership to be created...done.
Created a new membership [projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial] for the cluster [asm-acm-tutorial]
Generating the Connect Agent manifest...
Deploying the Connect Agent on cluster [asm-acm-tutorial] in namespace [gke-connect]...
Deployed the Connect Agent on cluster [asm-acm-tutorial] in namespace [gke-connect].
Finished registering the cluster [asm-acm-tutorial] with the Fleet.

Config Connector

Utilizza il seguente GKEHubMembership manifest:

apiVersion: gkehub.cnrm.cloud.google.com/v1beta1
kind: GKEHubMembership
metadata:
  annotations:
    cnrm.cloud.google.com/project-id: PROJECT_ID
  name: asm-acm-tutorial
spec:
  location: global
  authority:
    issuer: https://container.googleapis.com/v1/projects/PROJECT_ID/locations/us-east4-a/clusters/asm-acm-tutorial
  endpoint:
    gkeCluster:
      resourceRef:
        name: asm-acm-tutorial

Per garantire la corretta registrazione del cluster GKE, descrivere il suo stato:

gcloud container fleet memberships list

L'output è simile al seguente:

NAME              EXTERNAL_ID                           LOCATION
asm-acm-tutorial  0e12258c-8831-4d81-b5c0-5e7099a468cc  global

Esplora i repository

Nella seguente sezione di installazione, applichi un file manifest acm-config.yaml. Questo manifest configura per sincronizzare il cluster Cartella asm-acm-tutorial del repository di esempio. Questa cartella contiene tutte i file di configurazione necessari per completare il resto del tutorial.

Per semplificare questo tutorial, utilizzerai i comandi sed per aggiornare il acm-config.yaml. Con il file acm-config.yaml, Config Sync esegue il deployment dei manifest richiesti per ogni passaggio di questo tutorial. L'aggiornamento di un singolo file ti consente di concentrarti sui concetti e sul flusso di protezione dei tuoi cluster, mesh e applicazioni senza manipolare ripetutamente i file e eseguire ripetutamente i comandi git.

Per utilizzare la capacità di Config Sync di sincronizzare più repository, utilizza le seguenti risorse:

root-sync, come RootSync contenente tutte le configurazioni del cluster, tra cui RepoSyncs, Constraints, ClusterRole, RoleBindings e risorse incluse in un sistema come istio-system.
ingress-gateway, come primo RepoSync, contiene tutte le risorse necessarie per eseguire il deployment in entrata e proteggerlo progressivamente durante questo tutorial.
online-boutique, come secondo RepoSync, contiene tutte le risorse necessarie per eseguire il deployment Boutique online e proteggile progressivamente con questo tutorial.

Installa Policy Controller, Config Sync e Cloud Service Mesh gestito

Ora che hai creato e registrato il cluster, puoi installare Config Sync, Policy Controller e Cloud Service Mesh sul cluster e configurarlo per la sincronizzazione dalle configurazioni del RootSync predefinito:

Attiva l'operatore ConfigManagement, che gestisce Config Sync e Policy Controller:

gcloud

gcloud beta container fleet config-management enable

Config Connector

Utilizza il seguente manifest GKEHubFeature:

apiVersion: gkehub.cnrm.cloud.google.com/v1beta1
kind: GKEHubFeature
metadata:
  name: configmanagement
spec:
  projectRef:
    external: PROJECT_ID
  location: global
  resourceID: configmanagement

Abilita Cloud Service Mesh nel parco risorse.

gcloud

gcloud container fleet mesh enable

Config Connector

Utilizza il seguente manifest GKEHubFeature:

apiVersion: gkehub.cnrm.cloud.google.com/v1beta1
kind: GKEHubFeature
metadata:
  name: servicemesh
spec:
  projectRef:
    external: PROJECT_ID
  location: global
  resourceID: servicemesh

Attiva la gestione automatica di Cloud Service Mesh per consentire a Google applicare la configurazione consigliata per Cloud Service Mesh gestito:

gcloud

gcloud container fleet mesh update \
    --management automatic \
    --memberships ${MEMBERSHIP}

Config Connector

Utilizza il seguente manifest GKEHubFeatureMembership:

apiVersion: gkehub.cnrm.cloud.google.com/v1beta1
kind: GKEHubFeatureMembership
metadata:
  name: servicemesh-membership
spec:
  projectRef:
    external: PROJECT_ID
  location: global
  membershipRef:
    name: asm-acm-tutorial
  featureRef:
    name: servicemesh
  mesh:
    management: MANAGEMENT_AUTOMATIC

Abilita Config Sync e Policy Controller:

gcloud

Salva il seguente manifest come acm-config.yaml nella directory ~/asm-acm-tutorial-dir:

applySpecVersion: 1
spec:
  configSync:
    enabled: true
    policyDir: asm-acm-tutorial/root-sync/init
    secretType: none
    sourceFormat: unstructured
    syncRepo: https://github.com/GoogleCloudPlatform/anthos-config-management-samples
    syncBranch: main
  policyController:
    enabled: true
    referentialRulesEnabled: true
    templateLibraryInstalled: true

Per saperne di più sui campi di configurazione di Google Cloud CLI, consulta gcloud apply spec fields.

Applica il file:

gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Config Connector

Utilizza il seguente manifest GKEHubFeatureMembership:

apiVersion: gkehub.cnrm.cloud.google.com/v1beta1
kind: GKEHubFeatureMembership
metadata:
  name: configmanagement-membership
spec:
  projectRef:
    external: PROJECT_ID
  location: global
  membershipRef:
    name: asm-acm-tutorial
  featureRef:
    name: configmanagement
  configmanagement:
    configSync:
      sourceFormat: unstructured
      git:
        policyDir: asm-acm-tutorial/root-sync/init
        secretType: none
        syncBranch: main
        syncRepo: https://github.com/GoogleCloudPlatform/anthos-config-management-samples
    policyController:
      enabled: true
      referentialRulesEnabled: true
      templateLibraryInstalled: true

Policy Controller e Config Sync sono installati sul cluster. Successivamente, Config Sync inizia a sincronizzare tutte le configurazioni del RootSync predefinito con il tuo cluster. Queste configurazioni installano e configurano la chiave seguente componenti:

Gli oggetti RepoSync che configurano le app Online Boutique e il gateway di ingresso vengono sincronizzati:

apiVersion: configsync.gke.io/v1beta1
kind: RepoSync
metadata:
  name: repo-sync
spec:
  override:
    enableShellInRendering: true
  sourceFormat: unstructured
  git:
    repo: https://github.com/GoogleCloudPlatform/anthos-config-management-samples
    revision: HEAD
    branch: main
    dir: asm-acm-tutorial/online-boutique/init
    auth: none

apiVersion: configsync.gke.io/v1beta1
kind: RepoSync
metadata:
  name: repo-sync
spec:
  override:
    enableShellInRendering: true
  sourceFormat: unstructured
  git:
    repo: https://github.com/GoogleCloudPlatform/anthos-config-management-samples
    revision: HEAD
    branch: main
    dir: asm-acm-tutorial/ingress-gateway/init
    auth: none

Poiché il I riconciliatori RepoSync richiedono autorizzazioni aggiuntive per creare risorse Istio, un oggetto ClusterRole e due oggetti RoleBinding per concedere queste autorizzazioni vengono applicati anche al tuo cluster:

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    rbac.authorization.k8s.io/aggregate-to-edit: "true"
  name: custom:aggregate-to-edit:istio
rules:
- apiGroups:
  - "networking.istio.io"
  - "security.istio.io"
  resources:
  - "virtualservices"
  - "authorizationpolicies"
  - "gateways"
  verbs:
  - "*"

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: repo-sync
subjects:
- kind: ServiceAccount
  name: ns-reconciler-onlineboutique
  namespace: config-management-system
roleRef:
  kind: ClusterRole
  name: edit
  apiGroup: rbac.authorization.k8s.io

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: repo-sync
subjects:
- kind: ServiceAccount
  name: ns-reconciler-asm-ingress
  namespace: config-management-system
roleRef:
  kind: ClusterRole
  name: edit
  apiGroup: rbac.authorization.k8s.io

Per garantire la corretta installazione di Policy Controller e Config Sync, controlla lo stato:
```
gcloud beta container fleet config-management status
```
L'output è simile al seguente:
```
Name: asm-acm-tutorial
Status: SYNCED
Last_Synced_Token: 4b3384d
Sync_Branch: main
Last_Synced_Time: 2022-05-04T21:32:58Z
Policy_Controller: INSTALLED
Hierarchy_Controller: PENDING
```
Se nelle righe Status o Policy_Controller viene visualizzato PENDING o NOT_INSTALLED, attendi qualche minuto ed esegui di nuovo gcloud beta container fleet config-management status.

Per garantire la corretta installazione di Cloud Service Mesh, descrivine lo stato:

gcloud container fleet mesh describe

L'output è simile al seguente:

createTime: '2022-09-13T23:12:56.477042921Z'
membershipSpecs:
  projects/PROJECT_NUMBER/locations/global/memberships/asm-acm-tutorial:
    mesh:
      management: MANAGEMENT_AUTOMATIC
membershipStates:
  projects/PROJECT_NUMBER/locations/global/memberships/asm-acm-tutorial:
    servicemesh:
      controlPlaneManagement:
        details:
        - code: REVISION_READY
          details: 'Ready: asm-managed'
        state: ACTIVE
      dataPlaneManagement:
        details:
        - code: OK
          details: Service is running.
        state: ACTIVE
    state:
      code: OK
      description: |-
        Revision(s) ready for use: asm-managed.
        All Canonical Services have been reconciled successfully.
      updateTime: '2022-09-14T00:19:10.571552206Z'
name: projects/PROJECT_ID/locations/global/features/servicemesh
resourceState:
  state: ACTIVE
spec: {}
state:
  state: {}
updateTime: '2022-09-14T00:19:14.135113118Z'

Se vedi state.code: ERROR anziché state.code: OK, attendi qualche minuto ed esegui di nuovo gcloud container fleet mesh describe. Prima di proseguire con il tutorial, devi assicurarti che il campo servicemesh.controlPlaneManagement.details.code ha il valore REVISION_READY.

Esegui il deployment di un gateway in entrata e di un'applicazione di esempio

In questa sezione, esegui il deployment dell'applicazione di esempio Online Boutique e di un gateway in entrata per gestire il traffico in entrata.

Esegui il deployment dell'applicazione di esempio Online Boutique e del gateway di ingresso.

Il seguente comando utilizza sed per aggiornare il manifest acm-config.yaml in modo da far sì che Config Sync esegua il deployment delle risorse necessarie per il deployment del gateway di ingresso e dell'app di esempio.
```
sed -i "s,root-sync/init,root-sync/deployments,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml
```
Tieni presente che questo passaggio può richiedere alcuni minuti.

Visualizza lo stato di Config Sync per RootSync e i due RepoSyncs:

gcloud alpha anthos config sync repo describe

L'output è simile a questo:

getting 3 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "95a30c052566357afb9db3d7f6153d9c0f219c03",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/deployments@main",
    "status": "SYNCED"
  },
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "95a30c052566357afb9db3d7f6153d9c0f219c03",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/ingress-gateway/deployments@main",
    "status": "SYNCED"
  },
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "95a30c052566357afb9db3d7f6153d9c0f219c03",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/online-boutique/deployments@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui gcloud alpha anthos config sync repo describe di nuovo.

Per visualizzare solo le informazioni di un repository, puoi utilizzare --sync-name e --sync-namespace flag. Per visualizzare le risorse gestite in dettaglio, aggiungi il flag --managed-resources. Per ulteriori informazioni, consulta Visualizzare lo stato di Config Sync in più cluster.

Attendi il provisioning dell'indirizzo IP pubblico del gateway di ingresso:

until kubectl -n asm-ingress get svc asm-ingressgateway -o jsonpath='{.status.loadBalancer}' | grep "ingress"; do : ; done

Ottieni l'indirizzo IP pubblico del gateway di ingresso:

EXTERNAL_IP=$(kubectl get svc asm-ingressgateway -n asm-ingress -o jsonpath="{.status.loadBalancer.ingress[*].ip}")

Visita l'indirizzo IP dal browser per verificare che l'app Online Boutique sia stata implementata correttamente:
```
echo http://${EXTERNAL_IP}
```

Applica i criteri per proteggere il tuo mesh

Nelle sezioni seguenti, utilizzerai Policy Controller per applicare i criteri del bundle di criteri Cloud Service Mesh creando vincoli.

Applicare l'inserimento di proxy sidecar

In questa sezione applicherai i criteri per garantire che tutti i carichi di lavoro nel mesh siano iniezione automatica del file collaterale in un bucket in cui è abilitato il controllo delle versioni.

Per applicare l'inserimento di proxy sidecar, applica i vincoli.

Il comando seguente utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.

sed -i "s,root-sync/deployments,root-sync/enforce-sidecar-injection,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Il comando precedente esegue il deployment delle seguenti risorse:

Un Constraint K8sRequiredLabels che richiede una qualsiasi Namespace nella mesh per contenere lo specifico Etichetta di inserimento proxy sidecar di Cloud Service Mesh:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: K8sRequiredLabels
metadata:
  name: namespace-sidecar-injection-label
spec:
  enforcementAction: deny
  match:
    kinds:
    - apiGroups:
      - ""
      kinds:
      - Namespace
    excludedNamespaces:
    - config-management-monitoring
    - config-management-system
    - default
    - gatekeeper-system
    - gke-connect
    - istio-system
    - kube-node-lease
    - kube-public
    - kube-system
    - resource-group-system
  parameters:
    labels:
    - allowedRegex: enabled
      key: istio-injection

Un AsmSidecarInjection Constraint che impedisce a qualsiasi Pod nel mesh di bypassare Istio iniezione di file collaterali proxy:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: AsmSidecarInjection
metadata:
  name: pod-sidecar-injection-annotation
spec:
  enforcementAction: deny
  match:
    kinds:
    - apiGroups:
      - ""
      kinds:
      - Pod
    excludedNamespaces:
    - kube-system
  parameters:
    strictnessLevel: High

Visualizza lo stato di Config Sync per RootSync:

gcloud alpha anthos config sync repo describe \
    --sync-name root-sync \
    --sync-namespace config-management-system

L'output è simile a questo:

getting 1 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/enforce-sidecar-injection@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui gcloud alpha anthos config sync repo describe di nuovo.

Verifica che i Constraints siano stati creati:

kubectl get constraints

Policy Controller può richiedere alcuni minuti per valutarli i vincoli. Se non visualizzi valori nella colonna TOTAL-VIOLATIONS, attendi e esegui di nuovo kubectl get constraints.

L'output è simile a questo:

NAME                                                                                       ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
podsidecarinjectionannotation.constraints.gatekeeper.sh/pod-sidecar-injection-annotation   deny                 0

NAME                                                                            ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
k8srequiredlabels.constraints.gatekeeper.sh/namespace-sidecar-injection-label   deny                 0

Poiché abbiamo configurato correttamente Namespaces e Pods, sono disponibili 0 TOTAL-VIOLATIONS per questi Constraints.

Per vedere questi Constraints in azione, prova a creare un Namespace nel tuo cluster né un label né un annotation:

kubectl create namespace test

L'output è simile al seguente errore:

Error from server (Forbidden): admission webhook "validation.gatekeeper.sh" denied the request: [namespace-sidecar-injection-label] you must provide labels: {"istio-injection"}

Applicare la crittografia del traffico

In questa sezione applichi i criteri per garantire che tutto il traffico nel mesh sia criptato.

Per applicare la crittografia del traffico, applica i vincoli.

Il seguente comando utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.

sed -i "s,root-sync/enforce-sidecar-injection,root-sync/enforce-strict-mtls,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Il comando precedente esegue il deployment delle seguenti risorse:

Un AsmPeerAuthnMeshStrictMtls Constraint che applica il protocollo mTLS a livello di mesh PeerAuthentication nei Spazio dei nomi istio-system:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: AsmPeerAuthnMeshStrictMtls
metadata:
  name: mesh-level-strict-mtls
spec:
  enforcementAction: deny
  parameters:
    rootNamespace: istio-system
    strictnessLevel: High

Un vincolo referenziale Config nello spazio dei nomi gatekeeper-system. Questo vincolo di riferimento consente al AsmPeerAuthnMeshStrictMtls Constraint di fare riferimento a un altro oggetto nella sua definizione (ad esempio, la ricerca di qualsiasi PeerAuthentication nel istio-system Namespace):

apiVersion: config.gatekeeper.sh/v1alpha1
kind: Config
metadata:
  name: config
spec:
  sync:
    syncOnly:
      - group: ""
        version: "v1"
        kind: "Namespace"
      - group: "security.istio.io"
        version: "v1beta1"
        kind: "PeerAuthentication"
      - group: "security.istio.io"
        version: "v1beta1"
        kind: "AuthorizationPolicy"

Un Constraint DestinationRuleTLSEnabled che impedisce la disattivazione di TLS per tutti gli host e i sottoinsiemi di host in Istio DestinationRules:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: DestinationRuleTLSEnabled
metadata:
  name: destination-rule-tls-enabled
spec:
  enforcementAction: deny
  match:
    kinds:
    - apiGroups:
      - networking.istio.io
      kinds:
      - DestinationRule

Un elemento AsmPeerAuthnStrictMtls Constraint che impone che tutti i PeerAuthentications non possono sovrascrivere STRICT mTLS:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: AsmPeerAuthnStrictMtls
metadata:
  name: peerauthentication-strict-mtls
spec:
  enforcementAction: deny
  match:
    kinds:
    - apiGroups:
      - security.istio.io
      kinds:
      - PeerAuthentication
  parameters:
    strictnessLevel: High

Visualizza lo stato di Config Sync per RootSync:

gcloud alpha anthos config sync repo describe \
    --sync-name root-sync \
    --sync-namespace config-management-system

L'output è simile a questo:

getting 1 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/enforce-strict-mtls@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui di nuovo gcloud alpha anthos config sync repo describe.

Esegui questo comando per ottenere ulteriori informazioni Violazione per PeerAuthentication:

kubectl get asmpeerauthnmeshstrictmtls.constraints.gatekeeper.sh/mesh-level-strict-mtls -ojsonpath='{.status.violations}'  | jq

L'output è simile a questo:

[
  {
    "enforcementAction": "deny",
    "group": "constraints.gatekeeper.sh",
    "kind": "AsmPeerAuthnMeshStrictMtls",
    "message": "Root namespace <istio-system> does not have a strict mTLS PeerAuthentication",
    "name": "mesh-level-strict-mtls",
    "version": "v1beta1"
  }
]

Risolvi il problema eseguendo il deployment di un'PeerAuthentication in istio-system. Per impedire che tutti i tuoi servizi nella rete mesh affinché non accetti traffico di testo non crittografato, imposta un criterio PeerAuthentication a livello di mesh con mTLS impostata su STRICT. Quando esegui il deployment del criterio, il piano di controllo esegue automaticamente il provisioning dei certificati TLS in modo che i carichi di lavoro possano autenticarsi tra loro.

Il comando seguente utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.
```
sed -i "s,root-sync/enforce-strict-mtls,root-sync/fix-strict-mtls,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml
```
Il comando precedente esegue il deployment del seguente STRICT mTLS PeerAuthentication nello spazio dei nomi istio-system. In questo modo, mTLS STRICT viene applicato all'intero mesh:
```
apiVersion: security.istio.io/v1beta1
kind: PeerAuthentication
metadata:
  name: default
spec:
  mtls:
    mode: STRICT
```

Visualizza lo stato di Config Sync per il RootSync:

gcloud alpha anthos config sync repo describe \
    --sync-name root-sync \
    --sync-namespace config-management-system

L'output è simile a questo:

getting 1 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/fix-strict-mtls@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui gcloud alpha anthos config sync repo describe di nuovo.

Verifica che i Constraints siano stati creati:

kubectl get constraints

Tieni presente che questa operazione può richiedere alcuni minuti prima che Policy Controller valuti questi Constraints. Attendi ed esegui di nuovo questo comando kubectl get constraints finché non ottieni valori nella colonna TOTAL-VIOLATIONS per ogni riga.

L'output è simile a questo:

NAME                                                                            ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
k8srequiredlabels.constraints.gatekeeper.sh/namespace-sidecar-injection-label   deny                 0
NAME                                                                          ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmpeerauthnmeshstrictmtls.constraints.gatekeeper.sh/mesh-level-strict-mtls   deny                 0
NAME                                                                               ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
destinationruletlsenabled.constraints.gatekeeper.sh/destination-rule-tls-enabled   deny                 0
NAME                                                                              ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmpeerauthnstrictmtls.constraints.gatekeeper.sh/peerauthentication-strict-mtls   deny                 0
NAME                                                                             ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmsidecarinjection.constraints.gatekeeper.sh/pod-sidecar-injection-annotation   deny                 0

Applicazione di un controllo dell'accesso granulare

In questa sezione applicherai i criteri per garantire che tutti i carichi di lavoro nel mesh dispongono di un controllo dell'accesso granulare.

Applica i vincoli per applicare un controllo dell'accesso granulare.

Il comando seguente utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.

sed -i "s,root-sync/fix-strict-mtls,root-sync/enforce-authorization-policies,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Il comando precedente esegue il deployment delle seguenti risorse:

Un Constraint AsmAuthzPolicyDefaultDeny che applica il divieto predefinito AuthorizationPolicy a livello di mesh nello spazio dei nomi istio-system:

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: AsmAuthzPolicyDefaultDeny
metadata:
  name: default-deny-authorization-policies
spec:
  enforcementAction: deny
  parameters:
    rootNamespace: istio-system
    strictnessLevel: High

AsmAuthzPolicyEnforceSourcePrincipals Constraint che impone che qualsiasi AuthorizationPolicies stia definendo entità di origine granulari (diverse da "*"). Solo il gateway in entrata nello spazio dei nomi asm-ingress è un'eccezione a questa regola per ricevere il traffico dagli utenti finali e reindirizzarlo all'app frontend della Boutique online.

apiVersion: constraints.gatekeeper.sh/v1beta1
kind: AsmAuthzPolicyEnforceSourcePrincipals
metadata:
  name: authz-source-principals-not-all
spec:
  enforcementAction: deny
  match:
    kinds:
    - apiGroups:
      - security.istio.io
      kinds:
      - AuthorizationPolicy
    excludedNamespaces:
      - asm-ingress

Visualizza lo stato di Config Sync per il RootSync:

gcloud alpha anthos config sync repo describe \
    --sync-name root-sync \
    --sync-namespace config-management-system

L'output è simile a questo:

getting 1 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/enforce-authorization-policies@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui di nuovo gcloud alpha anthos config sync repo describe.

Esegui il seguente comando per avere ulteriori informazioni sulla violazione associata:

kubectl get asmauthzpolicydefaultdeny.constraints.gatekeeper.sh/default-deny-authorization-policies -ojsonpath='{.status.violations}'  | jq

L'output è simile a questo:

[
  {
    "enforcementAction": "deny",
    "group": "constraints.gatekeeper.sh",
    "kind": "AsmAuthzPolicyDefaultDeny",
    "message": "Root namespace <istio-system> does not have a default deny AuthorizationPolicy",
    "name": "default-deny-authorization-policies",
    "version": "v1beta1"
  }
]

Risolvi il problema eseguendo il deployment di AuthorizationPolicy in istio-system nello spazio dei nomi.

Il comando seguente utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.

sed -i "s,root-sync/enforce-authorization-policies,root-sync/fix-default-deny-authorization-policy,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Il comando precedente esegue il deployment del seguente AuthorizationPolicy di tipo deny-all nello spazio dei nomi istio-system:

apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: deny-all
spec:
  {}

Visualizza lo stato di Config Sync per RootSync:

gcloud alpha anthos config sync repo describe \
    --sync-name root-sync \
    --sync-namespace config-management-system

L'output è simile a questo:

getting 1 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/fix-default-deny-authorization-policy@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui gcloud alpha anthos config sync repo describe di nuovo.

Verifica che i Constraints siano stati creati:

kubectl get constraints

L'output è simile a questo:

NAME                                                                             ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmsidecarinjection.constraints.gatekeeper.sh/pod-sidecar-injection-annotation   deny                 0
NAME                                                                            ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
k8srequiredlabels.constraints.gatekeeper.sh/namespace-sidecar-injection-label   deny                 0
NAME                                                                                      ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmauthzpolicydefaultdeny.constraints.gatekeeper.sh/default-deny-authorization-policies   deny                 0
NAME                                                                          ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmpeerauthnmeshstrictmtls.constraints.gatekeeper.sh/mesh-level-strict-mtls   deny                 0
NAME                                                                               ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
destinationruletlsenabled.constraints.gatekeeper.sh/destination-rule-tls-enabled   deny                 0
NAME                                                                              ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmpeerauthnstrictmtls.constraints.gatekeeper.sh/peerauthentication-strict-mtls   deny                 0
NAME                                                                                              ENFORCEMENT-ACTION   TOTAL-VIOLATIONS
asmauthzpolicyenforcesourceprincipals.constraints.gatekeeper.sh/authz-source-principals-not-all   deny                 0

Visita l'app Online Boutique dal tuo browser:
```
echo http://${EXTERNAL_IP}
```
Dovresti ricevere l'errore: RBAC: access denied che conferma che il divieto predefinito AuthorizationPolicy è applicato all'intero mesh.

Risolvi questo problema eseguendo il deployment di AuthorizationPolicies in modo più granulare in gli spazi dei nomi asm-ingress e onlineboutique.

Il comando seguente utilizza sed per aggiornare il manifest acm-config.yaml in modo che Config Sync esegua il deployment delle risorse associate.

sed -i "s,root-sync/fix-default-deny-authorization-policy,root-sync/deploy-authorization-policies,g" ~/asm-acm-tutorial-dir/acm-config.yaml
gcloud beta container fleet config-management apply \
    --membership ${MEMBERSHIP} \
    --config ~/asm-acm-tutorial-dir/acm-config.yaml

Il comando precedente esegue il deployment delle seguenti risorse:

Un AuthorizationPolicy nel asm-ingress spazio dei nomi:

apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: asm-ingressgateway
spec:
  selector:
    matchLabels:
      asm: ingressgateway
  rules:
  - to:
    - operation:
        ports:
        - "8080"

Un AuthorizationPolicy per app nello spazio dei nomi onlineboutique. Ecco l'esempio per l'app cartservice:

apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: cartservice
spec:
  selector:
    matchLabels:
      app: cartservice
  rules:
  - from:
    - source:
        principals:
        - cluster.local/ns/onlineboutique/sa/frontend
        - cluster.local/ns/onlineboutique/sa/checkoutservice
    to:
    - operation:
        paths:
        - /hipstershop.CartService/AddItem
        - /hipstershop.CartService/GetCart
        - /hipstershop.CartService/EmptyCart
        methods:
        - POST
        ports:
        - "7070"

Un ServiceAccount per app negli spazi dei nomi asm-ingress e onlineboutique per avere un'identità univoca per app valutata come principal in AuthorizationPolicies. Ecco l'esempio per l'app cartservice:
```
apiVersion: v1
kind: ServiceAccount
metadata:
  name: cartservice
```

Visualizza lo stato di Config Sync per RootSync e per i due RepoSyncs:

gcloud alpha anthos config sync repo describe

L'output è simile a questo:

getting 3 RepoSync and RootSync from projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial
[
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/root-sync/deploy-authorization-policies@main",
    "status": "SYNCED"
  },
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/ingress-gateway/authorization-policies@main",
    "status": "SYNCED"
  },
  {
    "clusters": [
      "projects/PROJECT_ID/locations/global/memberships/asm-acm-tutorial"
    ],
    "commit": "7d15d49af13c44aa531a4565b2277ddcf8b81884",
    "errors": [],
    "source": "https://github.com/GoogleCloudPlatform/anthos-config-management-samples//asm-acm-tutorial/online-boutique/authorization-policies@main",
    "status": "SYNCED"
  }
]

Se vedi status: RECONCILING anziché status: SYNCED, attendi qualche minuto ed esegui gcloud alpha anthos config sync repo describe di nuovo.

Per visualizzare solo le informazioni di un repository, puoi utilizzare i flag --sync-name e --sync-namespace. Per visualizzare in dettaglio le risorse gestite, puoi aggiungere il flag --managed-resources. Per ulteriori informazioni, vedi Visualizza lo stato di Config Sync in più cluster.

Visita di nuovo l'app Online Boutique dal browser:
```
echo http://${EXTERNAL_IP}
```
Se attendi qualche minuto, il sito web dovrebbe di nuovo funzionare come previsto.

Visualizza lo stato delle funzionalità di sicurezza di GKE Enterprise

Puoi visualizzare lo stato delle funzionalità di sicurezza di GKE Enterprise, inclusa l'autenticazione e i criteri di autorizzazione, nella console Google Cloud.

Nella console Google Cloud, vai alla pagina Sicurezza di GKE Enterprise.

Vai a Sicurezza di GKE Enterprise

Il riepilogo dei criteri mostra lo stato della sicurezza delle applicazioni, incluso il controllo dell'accesso ai servizi (AuthorizationPolicies) e mTLS.
Fai clic su Controllo criteri per visualizzare gli stati dei criteri del carico di lavoro per il cluster e per entrambi gli spazi dei nomi (asm-ingress e onlineboutique).

Le schede Controllo dell'accesso ai servizi e Stato mTLS forniscono una panoramica generale.

L'elenco Carichi di lavoro mostra il controllo dell'accesso al servizio e lo stato mTLS di per ogni carico di lavoro.

Ora hai protetto il tuo cluster e il tuo mesh con Policy Controller e Config Sync.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Elimina singole risorse

Per eliminare le singole risorse:

Annulla la registrazione del cluster dal parco risorse:

gcloud

gcloud container fleet memberships unregister ${CLUSTER} \
    --project=${PROJECT_ID} \
    --gke-cluster=${CLUSTER_ZONE}/${CLUSTER}

L'output è simile al seguente:

kubeconfig entry generated for asm-acm-tutorial.
Waiting for membership to be deleted...done.
Deleting membership CR in the cluster...done.
Deleting namespace [gke-connect] in the cluster...done.

Config Connector

kubectl delete -f ~/asm-acm-tutorial-dir/fleet-membership.yaml

Elimina il cluster:

gcloud

gcloud container clusters delete ${CLUSTER} \
    --zone ${CLUSTER_ZONE}

Premi y quando richiesto. Questo comando può richiedere più di cinque minuti completato.

L'output è simile al seguente:

Deleting cluster asm-acm-tutorial...done.
Deleted [https://container.googleapis.com/v1/projects/PROJECT_ID/zones/us-east4-a/clusters/asm-acm-tutorial].

Config Connector

kubectl delete -f ~/asm-acm-tutorial-dir/container-cluster.yaml

Elimina i file che hai creato:
```
rm -r ~/asm-acm-tutorial-dir
```

Passaggi successivi

Scopri le best practice per la sicurezza di Cloud Service Mesh.
Scopri di più su il pacchetto di criteri di Cloud Service Mesh.
Esplora Policy Controller libreria di modelli di vincolo.
Esplora architetture di riferimento, diagrammi e best practice su Google Cloud. Dai un'occhiata al nostro Centro architetture cloud.