Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina fornisce informazioni sulla configurazione di networking di progetti per ambienti IP privati.
Per gli ambienti IP privati, Cloud Composer assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente.
Come opzione, puoi anche utilizzare gli indirizzi IP pubblici utilizzati privatamente e l'agente di mascheramento IP per risparmiare spazio per gli indirizzi IP e utilizzare indirizzi non RFC 1918.
Per informazioni su come connetterti alle risorse nel tuo ambiente, consulta IP privato.
Ambienti con Private Service Connect e peering VPC
Per impostazione predefinita, Cloud Composer 2 utilizza Private Service Connect, in modo che gli ambienti IP privati comunichino internamente senza l'utilizzo di peering VPC, a meno che non specifichi diversamente al momento della creazione dell'ambiente.
Consigliamo di utilizzare gli ambienti con Private Service Connect se non hai un requisito specifico per utilizzare ambienti con VPC e i peering.
Prima di iniziare
- Assicurati di disporre delle autorizzazioni appropriate per gli account utente e di servizio per creare un ambiente.
- Verifica che Criteri dell'organizzazione incompatibili non sono definite nel progetto.
Controlla i requisiti di rete
Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:
Assicurati che non esistano conflitti di blocchi di IP privati. Se la rete VPC e i relativi peering VPC stabiliti hanno blocchi IP in sovrapposizione con la rete VPC nel progetto tenant gestito da Google, Cloud Composer non può creare il tuo ambiente. Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.
Assicurati che siano disponibili intervalli IP secondari sufficienti i pod e i servizi GKE di Cloud Composer. GKE cerca intervalli IP secondari per l'aliasing IP. Se GKE non riesce a trovare un intervallo, Cloud Composer non può per la creazione dell'ambiente.
Assicurati che il numero di intervalli secondari nella subnet non sia superano 30. Considera quanto segue:
- Il cluster GKE per l'ambiente IP privato crea due intervalli secondari nella subnet. Puoi creare più subnet nella stessa regione per la stessa rete VPC.
- Il numero massimo di intervalli secondari supportati è 30. Ciascuna L'ambiente IP privato richiede due intervalli secondari i pod e i servizi GKE di Cloud Composer.
Assicurati che la rete del progetto possa supportare il limite sul numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti IP privati che puoi creare dipende dal numero di connessioni di peering VPC già esistenti nella tua rete VPC.
Ogni ambiente IP privato con PSC utilizza un peering VPC per ambiente. Questo peering VPC viene creato cluster GKE del tuo ambiente e I cluster GKE possono riutilizzare questa connessione. Per gli ambienti IP privati con PSC, ogni località può supportare un massimo di 75 cluster privati.
Ogni ambiente IP privato con peering VPC utilizza al massimo due per ambiente. Cloud Composer crea un peering VPC per la rete del progetto tenant. Viene creato il secondo peering dal cluster GKE del tuo ambiente I cluster GKE possono riutilizzare questa connessione.
Scegli una rete, una subnet e intervalli di rete
Scegli gli intervalli di rete per il tuo ambiente IP privato (o utilizza quelli predefiniti). Potrai utilizzare questi intervalli di rete in un secondo momento, per creare un ambiente IP privato.
Per creare un ambiente IP privato, devi disporre delle seguenti informazioni:
- L'ID della rete VPC
- L'ID della subnet VPC
- Due intervalli IP secondari nella subnet VPC:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Intervalli IP per i componenti dell'ambiente:
Se il tuo ambiente utilizza Private Service Connect:
- Intervallo IP del control plane GKE. Intervallo IP per il piano di controllo GKE.
- Subnet di connessione Cloud Composer. Intervallo IP per Subnet di connessione Cloud Composer. Puoi specificare un intervallo di un solo indirizzo IP. Questo intervallo può essere utilizzato da più ambienti nel progetto.
Se il tuo ambiente utilizza i peering VPC:
- Intervallo IP del control plane GKE. Intervallo IP per il control plane GKE.
- Intervallo IP per la rete del tenant Cloud Composer. PROPRIETÀ INTELLETTUALE per la rete tenant di Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente.
Intervallo IP Cloud SQL. Intervallo IP per l'istanza Cloud SQL.
Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.
Intervalli IP predefiniti
Ambienti con Private Service Connect
Regione | Intervallo IP del control plane GKE |
---|---|
africa-south1 | 172.16.64.0/23 |
asia-east1 | 172.16.42.0/23 |
asia-east2 | 172.16.0.0/23 |
asia-northeast1 | 172.16.2.0/23 |
asia-northeast2 | 172.16.32.0/23 |
asia-northeast3 | 172.16.30.0/23 |
asia-south1 | 172.16.4.0/23 |
asia-south2 | 172.16.50.0/23 |
asia-southeast1 | 172.16.40.0/23 |
asia-southeast2 | 172.16.44.0/23 |
australia-southeast1 | 172.16.6.0/23 |
australia-southeast2 | 172.16.56.0/23 |
europe-central2 | 172.16.36.0/23 |
europe-north1 | 172.16.48.0/23 |
europe-southwest1 | 172.16.58.0/23 |
europe-west1 | 172.16.8.0/23 |
europe-west10 | 172.16.62.0/23 |
europe-west12 | 172.16.62.0/23 |
europe-west2 | 172.16.10.0/23 |
europe-west3 | 172.16.12.0/23 |
europe-west4 | 172.16.42.0/23 |
europe-west6 | 172.16.14.0/23 |
europe-west8 | 172.16.60.0/23 |
europe-west9 | 172.16.46.0/23 |
me-central1 | 172.16.58.0/23 |
me-west1 | 172.16.54.0/23 |
northamerica-northeast1 | 172.16.16.0/23 |
northamerica-northeast2 | 172.16.46.0/23 |
southamerica-east1 | 172.16.18.0/23 |
southamerica-west1 | 172.16.58.0/23 |
us-central1 | 172.16.20.0/23 |
us-east1 | 172.16.22.0/23 |
us-east4 | 172.16.24.0/23 |
us-east5 | 172.16.52.0/23 |
us-south1 | 172.16.56.0/23 |
us-west1 | 172.16.38.0/23 |
us-west2 | 172.16.34.0/23 |
us-west3 | 172.16.26.0/23 |
us-west4 | 172.16.28.0/23 |
Ambienti con peering VPC
Regione | Intervallo IP del control plane GKE | Intervallo IP della rete tenant di Cloud Composer | Intervallo IP di Cloud SQL |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
io-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Facoltativo) Configurare la connettività alle API e ai servizi Google
Come opzione, potresti voler indirizzare tutto il traffico alle API e ai servizi Google
attraverso diversi indirizzi IP che appartengono all'private.googleapis.com
dominio. In questa configurazione, il tuo ambiente accede alle API di Google
tramite indirizzi IP instradabili solo dall'interno di Google Cloud.
Se il tuo ambiente IP privato utilizza anche Controlli di servizio VPC, usa istruzioni per gli ambienti con Controlli di servizio VPC .
Gli ambienti Cloud Composer utilizzano i domini seguenti:
L'app
*.googleapis.com
viene utilizzata per accedere ad altri servizi Google.*.composer.cloud.google.com
viene utilizzato per rendere il server web Airflow del tuo accessibile all'ambiente di gestione. Questa regola deve essere applicata prima di creare una completamente gestito di Google Cloud.- In alternativa, puoi creare una regola per una regione specifica. Per farlo,
usa
REGION.composer.cloud.google.com
. SostituisciREGION
con la regione in cui si trova l'ambiente, ad esempious-central1
.
- In alternativa, puoi creare una regola per una regione specifica. Per farlo,
usa
(Facoltativo)
*.composer.googleusercontent.com
viene utilizzato per accedere al server web Airflow del tuo ambiente. Questa regola è obbligatoria solo se al server web Airflow da un'istanza in esecuzione rete VPC, altrimenti non è richiesta. Uno scenario comune per questo è quando vuoi chiamare l'API REST Airflow dall'interno della rete VPC.- In alternativa, puoi creare una regola per un ambiente specifico. A
farlo, utilizza
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
di Google. SostituisciENVIRONMENT_WEB_SERVER_NAME
con la parte univoca dell'URL dell'interfaccia utente di Airflow del tuo ambiente, ad esempiobffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- In alternativa, puoi creare una regola per un ambiente specifico. A
farlo, utilizza
*.pkg.dev
viene utilizzato per ottenere immagini dell'ambiente, ad esempio quando crei o aggiorni un ambiente.*.gcr.io
GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.
Configura la connettività all'endpoint private.googleapis.com
:
Dominio | Nome DNS | Record CNAME | Record A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome DNS: *.googleapis.com. Tipo di record di risorse: CNAME Nome canonico: googleapis.com. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
Nome DNS: *.composer.cloud.google.com. Tipo di record di risorse: CNAME Nome canonico: composer.cloud.google.com. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.googleusercontent.com
(facoltativo, vedi descrizione) |
composer.googleusercontent.com. |
Nome DNS: *.composer.googleusercontent.com. Tipo di record di risorse: CNAME Nome canonico: composer.googleusercontent.com. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nome DNS: *.pkg.dev. Tipo di record di risorse: CNAME Nome canonico: pkg.dev. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nome DNS: *.gcr.io. Tipo di record di risorse: CNAME Nome canonico: gcr.io. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
Per creare una regola DNS:
Crea una nuova zona DNS e utilizza Nome DNS come nome DNS di questa zona.
Esempio:
pkg.dev.
Aggiungi un insieme di record per il record CNAME.
Esempio:
- Nome DNS:
*.pkg.dev.
- Tipo di record di risorse:
CNAME
- Nome canonico:
pkg.dev.
- Nome DNS:
Aggiungi un set di record per A Record (Record A):
Esempio:
- Tipo di record di risorse:
A
- Indirizzi IPv4:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Tipo di record di risorse:
Per ulteriori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.
(Facoltativo) Configurare le regole firewall
Esegui questo passaggio solo se il tuo progetto ha regole firewall non predefinite, come regole che hanno la precedenza regole firewall implicite oppure modificare le regole precompilate in la rete predefinita.
Ad esempio, Cloud Composer potrebbe non creare un ambiente se
esiste una regola firewall che nega tutto il traffico in uscita. Per evitare problemi,
definisci regole allow
selettive che seguono l'elenco e hanno una priorità più elevata
rispetto alla regola deny
globale.
Configura la rete VPC in modo da consentire il traffico dal tuo ambiente:
- Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole per la rete VPC.
- Utilizza le funzionalità di Strumento di connettività per convalidare la connettività tra intervalli IP.
- Puoi utilizzare i tag di rete per limitare ulteriormente l'accesso. Puoi impostare questi tag quando crei un ambiente.
Descrizione | Direzione | Azione | Origine o destinazione | Protocolli | Porte |
---|---|---|---|---|---|
DNS | In uscita | Consenti | Qualsiasi destinazione (0.0.0.0/0 ) o indirizzi IP del server DNS |
TCP, UDP | 53 |
API e servizi Google | In uscita | Consenti | Intervallo di indirizzi IP del dominio che hai scelto per le API e i servizi Google. Consulta Indirizzi IP per i domini predefiniti se utilizzi i valori predefiniti. | TCP | 443 |
Nodi del cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP principali della subnet dell'ambiente | TCP, UDP | tutte |
Pod del cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP secondario per i pod nella subnet dell'ambiente | TCP, UDP | tutte |
Piano di controllo del cluster dell'ambiente | In uscita | Consenti | Intervallo IP del piano di controllo GKE | TCP, UDP | tutte |
Subnet di connessione (se il tuo ambiente utilizza Private Service Connect) | In uscita | Consenti | Intervallo di subnet di connessione Cloud Composer | TCP | 3306, 3307 |
(Se il tuo ambiente utilizza peering VPC) Rete tenant | In uscita | Consenti | Intervallo IP della rete del tenant Cloud Composer | TCP | 3306, 3307 |
Per ottenere gli intervalli IP:
Gli intervalli di indirizzi di pod, servizi e piano di controllo sono disponibili nella pagina Cluster del cluster del tuo ambiente:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Si apre la pagina Dettagli ambiente.
Vai alla scheda Configurazione dell'ambiente.
Segui il link Visualizza i dettagli del cluster.
Puoi vedere i dati sull'ambiente Intervallo IP della rete tenant di Cloud Composer nella scheda Configurazione dell'ambiente.
Puoi vedere i dati sull'ambiente l'ID subnet e l'ID subnet della connessione Cloud Composer nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP di una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzarne i dettagli:
Configurare le impostazioni del server proxy
Puoi impostare HTTP_PROXY
e HTTPS_PROXY
variabili di ambiente
nel tuo ambiente. Queste variabili di Linux standard vengono utilizzate dai client web che vengono eseguiti nei contenitori del cluster del tuo ambiente per instradare il traffico tramite i proxy specificati.
Per impostazione predefinita, la variabile NO_PROXY
è impostata su un elenco di domini Google, pertanto
esclusi dal proxy:
.google.com,.googleapis.com,metadata.google.internal
. Questa configurazione
consente di creare un ambiente con il set HTTP_PROXY
HTTPS_PROXY
variabili di ambiente nei casi in cui il proxy non sia configurato
per gestire il traffico verso i servizi Google.