Configurazione dei Controlli di servizio VPC

Cloud Composer 1 | Cloud Composer 2

I Controlli di servizio VPC consentono alle organizzazioni di definire un perimetro intorno alle risorse Google Cloud per mitigare i rischi di esfiltrazione di dati.

Il deployment degli ambienti Cloud Composer può essere eseguito all'interno di un perimetro di servizio. Configurando il tuo ambiente con i Controlli di servizio VPC, puoi mantenere privati i dati sensibili, sfruttando al contempo le funzionalità di orchestrazione dei flussi di lavoro completamente gestite di Cloud Composer.

Il supporto dei Controlli di servizio VPC per Cloud Composer implica che:

• Ora è possibile selezionare Cloud Composer come servizio protetto all'interno di un perimetro dei Controlli di servizio VPC.
• Tutte le risorse sottostanti utilizzate da Cloud Composer sono configurate per supportare l'architettura dei Controlli di servizio VPC e seguirne le regole.

Il deployment di ambienti Cloud Composer con Controlli di servizio VPC ti offre:

• Rischio ridotto di esfiltrazione di dati.
• Protezione contro l'esposizione dei dati dovuta a controlli di accesso configurati in modo errato.
• Rischio ridotto che utenti malintenzionati possano copiare i dati in risorse Google Cloud non autorizzate o utenti malintenzionati esterni che accedono alle risorse Google Cloud da internet.

Nota: se Cloud Composer è protetto da un perimetro, non può comunicare direttamente con le risorse ospitate al di fuori del perimetro. Ciò impedisce inoltre l'accesso diretto ai repository PyPI pubblici che potrebbero essere necessari per alcune dipendenze Python. Per ulteriori dettagli, consulta Installazione dei pacchetti PyPI di seguito.

Server web Airflow in modalità Controlli di servizio VPC

In modalità Controlli di servizio VPC, Cloud Composer esegue due istanze del server web Airflow. Identity-Aware Proxy bilancia il carico del traffico degli utenti tra queste istanze. I server web Airflow vengono eseguiti in modalità di "sola lettura", il che significa che:

• La serie di serializzazione DAG è abilitata. Di conseguenza, il server web Airflow non analizza i file di definizione DAG.

• I plug-in non vengono sincronizzati con il server web, pertanto non puoi modificarne o estenderne la funzionalità.

• Il server web Airflow utilizza un'immagine container predefinita dal servizio Cloud Composer. Se installi le immagini PyPI nel tuo ambiente, queste non vengono installate nell'immagine del container del server web.

Importante: l'endpoint del server web è accessibile dall'esterno del perimetro indipendentemente dalla configurazione del livello di accesso. Ti consigliamo di proteggere l'accesso al server web Airflow con elenchi di controllo dell'accesso dell'accesso (ACL) di rete. Puoi specificare gli intervalli IP che possono accedere al server web Airflow per un ambiente nuovo o esistente.

Creazione di un perimetro di servizio

Consulta Creazione di un perimetro di servizio per scoprire come creare e configurare i perimetri di servizio. Assicurati di selezionare Cloud Composer come uno dei servizi protetti all'interno del perimetro.

Creazione di ambienti in un perimetro

Per eseguire il deployment di Cloud Composer all'interno di un perimetro, sono necessari passaggi aggiuntivi. Quando crei il tuo ambiente Cloud Composer:

1. Abilita l'API Access Context Manager e l'API Cloud Composer per il tuo progetto. Come riferimento, consulta Abilitazione delle API.

2. Assicurati che il tuo perimetro di servizio includa i seguenti servizi accessibili da VPC, altrimenti il tuo ambiente potrebbe non riuscire a creare:

   • API Cloud Composer (composer.googleapis.com)
   • API Compute Engine (compute.googleapis.com)
   • API Kubernetes Engine (container.googleapis.com)
   • API Container Registry (containerregistry.googleapis.com)
   • API Artifact Registry (artifactregistry.googleapis.com)
   • API Cloud Storage (storage.googleapis.com)
   • API Cloud SQL Admin (sqladmin.googleapis.com)
   • API Cloud Build (cloudbuild.googleapis.com)
   • API Cloud Logging (logging.googleapis.com)
   • API Cloud Monitoring (monitoring.googleapis.com)
   • API Cloud Pub/Sub (pubsub.googleapis.com)
   • API Cloud Resource Manager (cloudresourcemanager.googleapis.com)
   • API Service Directory (servicedirectory.googleapis.com)
   • API Cloud Key Management Service (cloudkms.googleapis.com), se utilizzi Cloud KMS o chiavi CMEK
   • API Secret Manager (secretmanager.googleapis.com), se utilizzi Secret Manager come backend secret
   Avviso: in tutte le versioni di Cloud Composer 1, se nel perimetro hai incluso l'API Cloud Identity-Aware Proxy (iap.googleapis.com) o Identity-Aware Proxy TCP (iaptunnel.googleapis.com), non è possibile creare ambienti Cloud Composer. Per risolvere questo problema, consulta La creazione dell'ambiente non riesce nei progetti in cui sono abilitati i Controlli di servizio VPC.

3. Utilizza la versione composer-1.10.4 o successive.

4. Assicurati che la serie di serializzazione dei DAG sia abilitata. Se il tuo ambiente utilizza Cloud Composer versione 1.15.0 e successive, la serializzazione è abilitata per impostazione predefinita.

5. Crea un nuovo ambiente Cloud Composer con l'IP privato abilitato. Tieni presente che questa impostazione deve essere configurata durante la creazione dell'ambiente.

6. Quando crei l'ambiente, ricordati di configurare l'accesso al server web Airflow. Per la massima protezione, consenti l'accesso al server web solo da intervalli IP specifici. Per maggiori dettagli, consulta Configurare l'accesso alla rete del server web.

Configurazione degli ambienti esistenti con i Controlli di servizio VPC

Puoi aggiungere al perimetro il progetto contenente il tuo ambiente se:

• Hai creato il perimetro come descritto nella sezione precedente.

• I tuoi ambienti sono ambienti con IP privato.

• Nei tuoi ambienti è abilitata la Serializzazione DAG.

Installazione dei pacchetti PyPI

Nella configurazione predefinita di Controlli di servizio VPC, Cloud Composer supporta solo l'installazione di pacchetti PyPI da repository privati raggiungibili dallo spazio di indirizzi IP privati della rete VPC. La configurazione consigliata per questo processo prevede di impostare un repository PyPI privato, popolarlo con pacchetti verificati utilizzati dalla tua organizzazione, quindi configurare Cloud Composer per installare le dipendenze Python da un repository privato.

È anche possibile installare pacchetti PyPI da repository esterni allo spazio IP privato. Segui questi passaggi:

1. Configura Cloud NAT per consentire a Cloud Composer in esecuzione nello spazio IP privato di connettersi con repository PyPI esterni.
2. Configura le tue regole firewall per consentire le connessioni in uscita dal cluster Composer al repository.

Quando utilizzi questa configurazione, assicurati di comprendere i rischi derivanti dall'utilizzo di repository esterni. Assicurati di considerare attendibili i contenuti e l'integrità di eventuali repository esterni, poiché queste connessioni potrebbero essere potenzialmente utilizzate come vettore di esfiltrazione.

Nota: l'account di servizio utilizzato per il piano dati di Cloud Composer deve avere i seguenti ruoli di autorizzazione: Composer.Worker e iam.serviceAccountUser.

Configura la connettività alle API e ai servizi Google

In una configurazione dei Controlli di servizio VPC, per controllare il traffico di rete, configura l'accesso alle API e ai servizi Google tramite restricted.googleapis.com. Questo dominio blocca l'accesso alle API e ai servizi Google che non supportano i Controlli di servizio VPC.

Gli ambienti Cloud Composer utilizzano i seguenti domini:

• *.googleapis.com viene utilizzato per accedere ad altri servizi Google.

• *.pkg.dev viene utilizzato per ricevere immagini dell'ambiente, ad esempio durante la creazione o l'aggiornamento di un ambiente.

• *.gcr.io GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.

Nota: se non configuri le regole DNS per le API e i servizi Google, vengono risolte utilizzando l'opzione dominio per i domini predefiniti.

Configura la connettività all'endpoint restricted.googleapis.com:

Dominio	Nome DNS	Record CNAME	Record A
*.googleapis.com	googleapis.com.	Nome DNS: *.googleapis.com. Tipo di record di risorse: CNAME Nome canonico: googleapis.com.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	Nome DNS: *.pkg.dev. Tipo di record di risorse: CNAME Nome canonico: pkg.dev.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	Nome DNS: *.gcr.io. Tipo di record di risorse: CNAME Nome canonico: gcr.io.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Per creare una regola DNS:

1. Crea una nuova zona DNS e utilizza il nome DNS come nome DNS di questa zona.

   Esempio: pkg.dev.

2. Aggiungi un set di record per Record CNAME.

   Esempio:

   • Nome DNS: *.pkg.dev.
   • Tipo di record di risorse: CNAME
   • Nome canonico: pkg.dev.

3. Aggiungi un set di record per Record A:

   Esempio:

   • Tipo di record di risorse: A
   • Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Per ulteriori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.

Configura le regole firewall

Se il tuo progetto prevede regole firewall non predefinite, ad esempio regole che eseguono l'override delle regole firewall implicite o modificano le regole precompilate nella rete predefinita, verifica che le seguenti regole firewall siano configurate.

Ad esempio, Cloud Composer potrebbe non creare un ambiente se hai una regola firewall che nega tutto il traffico in uscita. Per evitare problemi, definisci regole allow selettive che seguono l'elenco e hanno una priorità più elevata rispetto alla regola deny globale.

Importante: a seconda di come sono configurate le regole firewall nel tuo progetto, il seguente elenco di regole potrebbe essere ridondante. Ad esempio, se le regole firewall bloccano solo il traffico in entrata, non sono necessarie le regole in uscita elencate.

Configura la tua rete VPC in modo da consentire il traffico dal tuo ambiente:

• Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole per la tua rete VPC.
• Utilizza lo Strumento di connettività per convalidare la connettività tra intervalli IP.
• Puoi utilizzare i tag di rete per limitare ulteriormente l'accesso. Puoi impostare questi tag quando crei un ambiente.

Descrizione	Direzione	Azione	Origine o destinazione	Protocolli	Porte
DNS Configura come descritto in Supporto dei Controlli di servizio VPC per Cloud DNS	-	-	-	-	-
API e servizi Google	In uscita	Consenti	Indirizzi IPv4 di restricted.googleapis.com che utilizzi per le API e i servizi Google.	TCP	443
Nodi cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP principali della subnet dell'ambiente	TCP, UDP	tutte
Pod del cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP secondari per i pod nella subnet dell'ambiente	TCP, UDP	tutte
Piano di controllo del cluster dell'ambiente	In uscita	Consenti	Intervallo IP del piano di controllo GKE	TCP, UDP	tutte
Server web	In uscita	Consenti	Intervallo IP di rete del server web	TCP	3306, 3307

Attenzione: il servizio GKE crea automaticamente una serie di regole firewall in entrata e in uscita in modo che il cluster del tuo ambiente funzioni correttamente (ad esempio, regole in entrata e in uscita per i controlli di integrità di Google Cloud). Per saperne di più, consulta la pagina Regole firewall di GKE per saperne di più e non eliminare o bloccare le regole firewall create dai servizi GKE.

Per ottenere gli intervalli IP:

• Gli intervalli di indirizzi di pod, servizio e piano di controllo sono disponibili nella pagina Cluster del cluster del tuo ambiente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

     Vai a Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Segui il link per visualizzare i dettagli del cluster.

• Puoi visualizzare l'intervallo IP del server web dell'ambiente nella scheda Configurazione ambiente.

• Puoi visualizzare l'ID rete dell'ambiente nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP per una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzare i dettagli:

  Vai a Reti VPC

Log dei Controlli di servizio VPC

Per risolvere i problemi relativi alla creazione dell'ambiente, puoi analizzare gli audit log generati dai Controlli di servizio VPC.

Oltre ad altri messaggi di log, puoi controllare nei log informazioni sugli account di servizio [e-mail] e [e-mail] che configurano i componenti dei tuoi ambienti.

Il servizio Cloud Composer utilizza l'account di servizio [e-mail] per gestire i componenti di progetto tenant dei tuoi ambienti.

L'account di servizio [e-mail], noto anche come Composer Service Agent Service Account, gestisce i componenti dell'ambiente nei progetti di servizio e host.

Limitazioni

• Tutti i vincoli di rete dei Controlli di servizio VPC si applicano anche ai tuoi ambienti Cloud Composer. Per maggiori dettagli, consulta la documentazione sui controlli di servizio VPC.

• La visualizzazione di un modello sottoposto a rendering con funzioni nell'interfaccia utente web con la serializzazione dei DAG abilitata è supportata per gli ambienti che eseguono Cloud Composer 1.12.0 o versioni successive e Airflow versione 1.10.9 o successive.

• L'impostazione del flag async_dagbag_loader su True non è supportata quando la serie di DAG è abilitata.

• L'abilitazione della serializzazione DAG disattiva tutti i plug-in dei server web Airflow, in quanto potrebbero mettere a rischio la sicurezza della rete VPC su cui viene eseguito il deployment di Cloud Composer. Ciò non influisce sul comportamento dello scheduler o dei plug-in worker, inclusi gli operatori Airflow, i sensori e così via.

• Quando Cloud Composer è in esecuzione all'interno di un perimetro, l'accesso ai repository PyPI pubblici è limitato. Consulta Installazione delle dipendenze Python per scoprire come installare i moduli PyPI in modalità IP privato.