Configurazione dei Controlli di servizio VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

I Controlli di servizio VPC consentono alle organizzazioni di definire un perimetro attorno alleGoogle Cloud risorse per mitigare i rischi di esfiltrazione di dati.

Gli ambienti Cloud Composer possono essere dispiacchiati all'interno di un perimetro di servizio. Configurando l'ambiente con i Controlli di servizio VPC, puoi mantenere privati i dati sensibili e usufruire al contempo delle funzionalità di orchestrazione dei flussi di lavoro completamente gestite di Cloud Composer.

Il supporto di Controlli di servizio VPC per Cloud Composer significa che:

  • Ora Cloud Composer può essere selezionato come servizio protetto all'interno di un perimetro di Controlli di servizio VPC.
  • Tutte le risorse sottostanti utilizzate da Cloud Composer sono configurate per supportare l'architettura di VPC Service Controls e seguire le relative regole.

Il deployment di ambienti Cloud Composer con Controlli di servizio VPC consente di:

  • Rischio ridotto di esfiltrazione di dati.
  • Protezione contro l'esposizione dei dati a causa di controlli di accesso configurati in modo errato.
  • Rischio ridotto che utenti malintenzionati copino dati in risorseGoogle Cloud non autorizzate o che hacker esterni accedano alle risorseGoogle Cloud da internet.

Informazioni sui Controlli di servizio VPC in Cloud Composer

Informazioni sulla connettività con le API e i servizi Google in Controlli di servizio VPC

Cloud Composer 3 instrada il traffico verso i servizi Google tramite restricted.googleapis.com, che consente di accedere alle API, ai servizi e ai domini Google supportati da questo intervallo.

Per ulteriori informazioni e l'elenco dei servizi e dei domini disponibili tramite restricted.googleapis.com, consulta Configurazione di rete nella documentazione di Virtual Private Cloud.

Cloud Composer 3 blocca le chiamate alle API, ai servizi e ai domini Google che non sono nell'elenco di API e servizi richiesti. Se vuoi chiamare un'API da un DAG, assicurati di:

  • Aggiungi il servizio ai servizi limitati
  • Aggiungi il servizio ai servizi accessibili da VPC

Ad esempio, se utilizzi un operatore VertexAI, aggiungi aiplatform.googleapis.com sia ai servizi con limitazioni sia ai servizi accessibili tramite VPC.

Per saperne di più, consulta Gestire i perimetri di servizio nella documentazione di VPC Service Controls.

Crea un perimetro di servizio

Consulta Creazione di un perimetro di servizio per scoprire come creare e configurare i perimetri di servizio. Assicurati di selezionare Cloud Composer come uno dei servizi protetti all'interno del perimetro.

Creare ambienti in un perimetro

Per eseguire il deployment di Cloud Composer all'interno di un perimetro, sono necessari i seguenti passaggi:

  1. Abilita l'API Access Context Manager e l'API Cloud Composer per il tuo progetto. Per riferimento, consulta Abilitazione delle API.

  2. Assicurati che il perimetro di servizio contenga i seguenti servizi Google accessibili tramite VPC, altrimenti la creazione dell'ambiente potrebbe non riuscire:

    • API Cloud Composer (composer.googleapis.com)
    • API Artifact Registry (artifactregistry.googleapis.com)
    • API Compute Engine (compute.googleapis.com)
    • API Kubernetes Engine (container.googleapis.com)
    • API Container File System (containerfilesystem.googleapis.com)
    • API Cloud DNS (dns.googleapis.com)
    • API Service Account Credentials (iamcredentials.googleapis.com)
    • API Cloud Logging (logging.googleapis.com)
    • API Cloud Monitoring (monitoring.googleapis.com)
    • API Cloud Pub/Sub (pubsub.googleapis.com)
    • API Cloud SQL Admin (sqladmin.googleapis.com)
    • API Cloud Storage (storage.googleapis.com)

  3. Crea un nuovo ambiente Cloud Composer:

    1. Utilizza Google Cloud CLI per creare il tuo ambiente.
    2. Abilita l'IP privato con l'argomento --enable-private-environment.
    3. Specifica i parametri di accesso per il server web con gli argomenti --web-server-allow-all, --web-server-allow-ip o --web-server-deny-all. Per ulteriori informazioni sull'utilizzo di questi argomenti, consulta Creare ambienti. Per migliorare la protezione, consenti l'accesso al server web solo da intervalli IP specifici.

    4. Non consentire l'installazione di pacchetti da repository nella rete internet pubblica con l'argomento --enable-private-builds-only.

      Esempio:

      gcloud composer environments create example-environment \
  --location us-central1 \
  --enable-private-environment \
  --web-server-allow-all \
  --enable-private-builds-only

  4. Per impostazione predefinita, l'accesso all'API e all'interfaccia utente di Airflow è consentito solo all'interno del perimetro di sicurezza. Se vuoi renderlo disponibile al di fuori del perimetro di sicurezza, configura i livelli di accesso o le regole di instradamento in entrata e in uscita.

Aggiungere un ambiente esistente al perimetro

Puoi aggiungere il progetto contenente il tuo ambiente a un perimetro se i tuoi ambienti utilizzano IP privato e l'installazione dei pacchetti PyPI dai repository pubblici è disattivata.

Per aggiornare un ambiente Cloud Composer 3 esistente a questa configurazione:

  1. Assicurati di aver già creato o configurato il perimetro come descritto nella sezione precedente.
  2. Utilizza Google Cloud CLI per aggiornare l'ambiente.
  3. Abilita l'IP privato con l'argomento --enable-private-environment.
  4. Disabilita l'installazione di pacchetti da repository nella rete internet pubblica con l'argomento --enable-private-builds-only.
  5. Se necessario, configura l'accesso al server web Airflow. Per migliorare la protezione, consenti l'accesso al server web solo da intervalli IP specifici.

Esempio:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Installare i pacchetti PyPI in VPC Service Controls

Nella configurazione predefinita di VPC Service Controls, Cloud Composer supporta solo l'installazione di pacchetti PyPI da repository privati accessibili dallo spazio di indirizzi IP interno della rete VPC.

Per impostazione predefinita, tutti gli ambienti Cloud Composer all'interno di un perimetro di VPC Service Controls non hanno accesso ai repository PyPI pubblici.

Installazione da un repository privato

La configurazione consigliata è impostare un repository PyPI privato:

  1. Compilalo con i pacchetti controllati utilizzati dalla tua organizzazione, quindi configura Cloud Composer per installare le dipendenze Python da un repository privato.

Installazione da un repository pubblico

Per installare i pacchetti PyPI da un repository esterno:

  1. Crea un repository remoto Artifact Registry.
  2. Concedi a questo repository l'accesso alle origini upstream.
  3. Configura Airflow in modo da installare i pacchetti da un repository Artifact Registry.

Log di Controlli di servizio VPC

Per risolvere i problemi di creazione dell'ambiente, puoi analizzare i log di controllo generati da Controlli di servizio VPC.

Oltre ad altri messaggi di log, puoi controllare i log per informazioni sugli account di servizio cloud-airflow-prod@system.gserviceaccount.com e service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com che configurano i componenti dei tuoi ambienti.

Il servizio Cloud Composer utilizza l'account di servizio cloud-airflow-prod@system.gserviceaccount.com per gestire i componenti del progetto del tenant dei tuoi ambienti.

L'service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com account di servizio, noto anche come account di servizio dell'agente di servizio Composer, gestisce i componenti dell'ambiente nei progetti di servizio e host.

Passaggi successivi