Configurazione della rete IP privata

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina fornisce informazioni sulla configurazione del networking del progetto Google Cloud per gli ambienti IP privati.

Per gli ambienti con IP privato, Cloud Composer assegna solo indirizzi IP privati (RFC 1918) alle VM gestite di Google Kubernetes Engine e Cloud SQL nel tuo ambiente.

In alternativa, puoi anche utilizzare indirizzi IP pubblici utilizzati privatamente e l'agente di mascheramento IP per salvare lo spazio di indirizzi IP e utilizzare indirizzi non RFC 1918.

Per informazioni sulla connessione alle risorse nel tuo ambiente, consulta IP privato.

Ambienti con Private Service Connect e peering VPC

Per impostazione predefinita, Cloud Composer 2 utilizza Private Service Connect, in modo che i tuoi ambienti IP privati comunichino internamente senza l'utilizzo di peering VPC, a meno che non specifichi diversamente al momento della creazione del tuo ambiente.

Ti consigliamo di utilizzare gli ambienti con Private Service Connect se non hai un requisito specifico per utilizzare ambienti con peering VPC.

Prima di iniziare

Assicurati di disporre delle autorizzazioni appropriate per gli utenti e gli account di servizio per creare un ambiente.

Controlla i requisiti di rete

Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:

  • Assicurati che non esistano conflitti di blocco degli IP privati. Se la rete VPC e i peer VPC stabiliti hanno blocchi IP che si sovrappongono con la rete VPC nel progetto tenant gestito da Google, Cloud Composer non può creare il tuo ambiente. Consulta la tabella degli intervalli IP predefiniti per conoscere i valori predefiniti utilizzati in ogni regione.

  • Assicurati che siano presenti intervalli IP secondari sufficienti per i pod e i servizi GKE di Cloud Composer. GKE cerca intervalli IP secondari per gli alias IP. Se GKE non riesce a trovare un intervallo, Cloud Composer non può creare il tuo ambiente.

  • Assicurati che il numero di intervalli secondari nella subnet non superi 30. Considera quanto segue:

    • Il cluster GKE per l'ambiente IP privato crea due intervalli secondari nella subnet. Puoi creare più subnet nella stessa regione per la stessa rete VPC.
    • Il numero massimo di intervalli secondari supportati è 30. Ogni ambiente IP privato richiede due intervalli secondari per i pod e i servizi GKE di Cloud Composer.

  • Assicurati che la rete del progetto possa soddisfare il limite del numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti IP privati che puoi creare dipende dal numero di connessioni di peering VPC già esistenti nella tua rete VPC.

Scegli una rete, una subnet e intervalli di rete

Scegli gli intervalli di rete per il tuo ambiente IP privato (o utilizza quelli predefiniti). Potrai usare questi intervalli di rete in un secondo momento, quando crei un ambiente IP privato.

Per creare un ambiente IP privato, devi disporre delle seguenti informazioni:

  • ID rete VPC
  • ID subnet VPC
  • Due intervalli IP secondari nella subnet VPC:
    • Intervallo IP secondario per i pod
    • Intervallo IP secondario per i servizi

  • Intervalli IP per i componenti dell'ambiente:

    Se il tuo ambiente utilizza Private Service Connect:

    • Intervallo IP del piano di controllo GKE. per il piano di controllo GKE.
    • Subnet di connessione Cloud Composer. Intervallo IP per la subnet di connessione Cloud Composer. Puoi specificare un intervallo di un solo indirizzo IP. Questo intervallo può essere utilizzato da più ambienti nel progetto.

    Se il tuo ambiente utilizza i peering VPC:

    • Intervallo IP del piano di controllo GKE. per il piano di controllo GKE.
    • Intervallo IP per la rete tenant di Cloud Composer. Intervallo IP per la rete tenant di Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente.

    • Intervallo IP Cloud SQL. l'intervallo IP per l'istanza Cloud SQL.

Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.

Intervalli IP predefiniti

Ambienti con Private Service Connect

Regione Intervallo IP del control plane GKE
Africa-sud1 172.16.64.0/23
asia-east1 172.16.42.0/23
asia-east2 172.16.0.0/23
asia-northeast1 172.16.2.0/23
asia-northeast2 172.16.32.0/23
asia-northeast3 172.16.30.0/23
asia-south1 172.16.4.0/23
asia-south2 172.16.50.0/23
asia-southeast1 172.16.40.0/23
asia-southeast2 172.16.44.0/23
australia-southeast1 172.16.6.0/23
australia-southeast2 172.16.56.0/23
europe-central2 172.16.36.0/23
europe-north1 172.16.48.0/23
europe-southwest1 172.16.58.0/23
europe-west1 172.16.8.0/23
europe-west10 172.16.62.0/23
europe-west12 172.16.62.0/23
europe-west2 172.16.10.0/23
europe-west3 172.16.12.0/23
europe-west4 172.16.42.0/23
europe-west6 172.16.14.0/23
europe-west8 172.16.60.0/23
europe-west9 172.16.46.0/23
me-central1 172.16.58.0/23
io-west1 172.16.54.0/23
northamerica-northeast1 172.16.16.0/23
northamerica-northeast2 172.16.46.0/23
southamerica-east1 172.16.18.0/23
southamerica-west1 172.16.58.0/23
us-central1 172.16.20.0/23
us-east1 172.16.22.0/23
us-east4 172.16.24.0/23
us-east5 172.16.52.0/23
us-south1 172.16.56.0/23
us-west1 172.16.38.0/23
us-west2 172.16.34.0/23
us-west3 172.16.26.0/23
us-west4 172.16.28.0/23

Ambienti con peering VPC

Regione Intervallo IP del control plane GKE Intervallo IP della rete tenant di Cloud Composer Intervallo IP di Cloud SQL
Africa-sud1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
io-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Facoltativo) Configurare la connettività alle API e ai servizi Google

In alternativa, puoi scegliere di instradare tutto il traffico alle API e ai servizi Google attraverso diversi indirizzi IP che appartengono al dominio private.googleapis.com. In questa configurazione, il tuo ambiente accede alle API e ai servizi Google tramite indirizzi IP instradabili solo dall'interno di Google Cloud.

Se il tuo ambiente IP privato utilizza anche Controlli di servizio VPC, consulta invece le istruzioni per gli ambienti con Controlli di servizio VPC.

Gli ambienti Cloud Composer utilizzano i domini seguenti:

  • L'app *.googleapis.com viene utilizzata per accedere ad altri servizi Google.

  • *.composer.cloud.google.com viene utilizzato per rendere accessibile il server web Airflow del tuo ambiente. Questa regola deve essere applicata prima di creare un ambiente.

    • In alternativa, puoi creare una regola per una regione specifica. Per farlo, utilizza REGION.composer.cloud.google.com. Sostituisci REGION con la regione in cui si trova l'ambiente, ad esempio us-central1.

  • (Facoltativo) *.composer.googleusercontent.com viene utilizzato quando accedi al server web Airflow del tuo ambiente. Questa regola è necessaria solo se accedi al server web Airflow da un'istanza in esecuzione nella rete VPC e non è necessaria negli altri casi. Uno scenario comune per questa regola è quando si desidera chiamare l'API REST Airflow dall'interno della rete VPC.

    • In alternativa, puoi creare una regola per un ambiente specifico. Per farlo, utilizza ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com . Sostituisci ENVIRONMENT_WEB_SERVER_NAME con la parte univoca dell'URL UI di Airflow del tuo ambiente, ad esempio bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

  • *.pkg.dev viene utilizzato per ottenere immagini dell'ambiente, ad esempio durante la creazione o l'aggiornamento di un ambiente.

  • *.gcr.io GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.

Configura la connettività all'endpoint private.googleapis.com:

Dominio Nome DNS Record CNAME Record A
*.googleapis.com googleapis.com. Nome DNS: *.googleapis.com.
Tipo di record di risorsa: CNAME
Nome canonico: googleapis.com.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com composer.cloud.google.com. Nome DNS: *.composer.cloud.google.com.
Tipo di record di risorsa: CNAME
Nome canonico: composer.cloud.google.com.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com
(facoltativo, vedi descrizione) 		composer.googleusercontent.com. Nome DNS: *.composer.googleusercontent.com.
Tipo di record di risorsa: CNAME
Nome canonico: composer.googleusercontent.com.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. Nome DNS: *.pkg.dev.
Tipo di record di risorsa: CNAME
Nome canonico: pkg.dev.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. Nome DNS: *.gcr.io.
Tipo di record di risorsa: CNAME
Nome canonico: gcr.io.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Per creare una regola DNS:

  1. Crea una nuova zona DNS e utilizza il nome DNS della zona come nome DNS.

    Esempio: pkg.dev.

  2. Aggiungi un set di record per il record CNAME.

    Esempio:

    • Nome DNS: *.pkg.dev.
    • Tipo di record di risorse: CNAME
    • Nome canonico: pkg.dev.

  3. Aggiungi un set di record per A Record (Record A):

    Esempio:

    • Tipo di record di risorse: A
    • Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10 e 199.36.153.11

Per maggiori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.

(Facoltativo) Configurare le regole firewall

Esegui questo passaggio solo se il tuo progetto ha regole firewall non predefinite, ad esempio regole che eseguono l'override delle regole firewall implicite, oppure modifica le regole precompilate nella rete predefinita.

Ad esempio, Cloud Composer potrebbe non riuscire a creare un ambiente se è presente una regola firewall che nega tutto il traffico in uscita. Per evitare problemi, definisci regole allow selettive che seguono l'elenco e hanno una priorità più elevata rispetto alla regola deny globale.

Configura la rete VPC per consentire il traffico dal tuo ambiente:

Descrizione Direzione Azione Origine o destinazione Protocolli Porte
DNS In uscita Consenti Qualsiasi indirizzo IP di destinazione (0.0.0.0/0) o di server DNS TCP, UDP 53
API e servizi Google In uscita Consenti Intervallo di indirizzi IP del dominio che hai scelto per le API e i servizi Google. Consulta Indirizzi IP per i domini predefiniti se utilizzi i valori predefiniti. TCP 443
Nodi del cluster dell'ambiente In uscita Consenti Intervallo di indirizzi IP principali della subnet dell'ambiente TCP, UDP tutte
Pod del cluster dell'ambiente In uscita Consenti Intervallo di indirizzi IP secondari per i pod nella subnet dell'ambiente TCP, UDP tutte
Piano di controllo del cluster dell'ambiente In uscita Consenti Intervallo IP del piano di controllo GKE TCP, UDP tutte
Subnet di connessione (se il tuo ambiente utilizza Private Service Connect) In uscita Consenti Intervallo di subnet di connessione Cloud Composer TCP 3306, 3307
(Se il tuo ambiente utilizza peering VPC) Rete tenant In uscita Consenti Intervallo IP della rete tenant di Cloud Composer TCP 3306, 3307

Per ottenere gli intervalli IP:

  • Gli intervalli di indirizzi di pod, servizi e piano di controllo sono disponibili nella pagina Cluster del cluster dell'ambiente:

    1. Nella console Google Cloud, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

    3. Vai alla scheda Configurazione dell'ambiente.

    4. Segui il link per visualizzare i dettagli del cluster.

  • Puoi vedere l'intervallo IP della rete tenant di Cloud Composer dell'ambiente nella scheda Configurazione dell'ambiente.

  • Puoi visualizzare l'ID subnet dell'ambiente e l'ID subnet della connessione Cloud Composer nella scheda Configurazione dell'ambiente. Per ottenere intervalli IP per una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzare i dettagli:

    Vai a Reti VPC

Configura le impostazioni del server proxy

Puoi impostare le variabili di ambiente HTTP_PROXY e HTTPS_PROXY nel tuo ambiente. Queste variabili Linux standard vengono utilizzate dai client web eseguiti nei container del cluster dell'ambiente per instradare il traffico attraverso i proxy specificati.

Per impostazione predefinita, la variabile NO_PROXY è impostata su un elenco di domini Google in modo che vengano esclusi dal proxy: .google.com,.googleapis.com,metadata.google.internal. Questa configurazione consente di creare un ambiente con variabili di ambiente HTTP_PROXY e HTTPS_PROXY impostate nei casi in cui il proxy non sia configurato per gestire il traffico verso i servizi Google.