Cloud Composer 1 | Cloud Composer 2
Questa pagina fornisce informazioni sulla configurazione del networking dei progetti Google Cloud per gli ambienti IP privati.
Per gli ambienti IP privati, Cloud Composer assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente.
Come opzione, puoi anche utilizzare indirizzi IP pubblici utilizzati privatamente e l'agente IP Masquerade per salvare lo spazio di indirizzi IP e utilizzare indirizzi non RFC 1918.
Per informazioni sulla connessione alle risorse nel tuo ambiente, consulta IP privato.
Prima di iniziare
Assicurati di disporre delle autorizzazioni appropriate per gli account utente e di servizio per creare un ambiente.
Controlla i requisiti di rete
Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:
Assicurati che non ci siano conflitti di blocchi di IP privati. Se la tua rete VPC e i suoi peer VPC stabiliti presentano blocchi IP che si sovrappongono alla rete VPC nel progetto tenant gestito da Google, Cloud Composer non può creare il tuo ambiente. Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.
Assicurati che esistano intervalli IP secondari sufficienti per i pod e i servizi GKE di Cloud Composer. GKE cerca intervalli IP secondari per gli alias IP. Se GKE non riesce a trovare un intervallo, Cloud Composer non può creare il tuo ambiente.
Assicurati che il numero di intervalli secondari nella subnet non sia superiore a 30. Considera quanto segue:
- Il cluster GKE per l'ambiente IP privato crea due intervalli secondari nella subnet. Puoi creare più subnet nella stessa regione per la stessa rete VPC.
- Il numero massimo di intervalli secondari supportati è 30. Ogni ambiente IP privato richiede due intervalli secondari per i pod e i servizi GKE di Cloud Composer.
Assicurati che la rete del tuo progetto possa soddisfare il limite del numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti IP privati che puoi creare dipende dal numero di connessioni di peering VPC già esistenti nella tua rete VPC.
Ogni ambiente IP privato utilizza al massimo due peering VPC per ambiente. Cloud Composer crea un peering VPC per la rete di progetto del tenant. Il secondo peering viene creato dal cluster GKE del tuo ambiente e i cluster GKE possono riutilizzare questa connessione.
Scegli una rete, una subnet e intervalli di rete
Scegli gli intervalli di rete per il tuo ambiente IP privato (o utilizza quelli predefiniti). Puoi utilizzare questi intervalli di rete in un secondo momento, quando crei un ambiente IP privato.
Per creare un ambiente IP privato, è necessario disporre delle seguenti informazioni:
- Il tuo ID rete VPC
- L'ID della tua subnet VPC
- Due intervalli IP secondari nella subnet VPC:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Intervalli IP per i componenti dell'ambiente:
- Intervallo IP del piano di controllo GKE. per il piano di controllo GKE.
- Intervallo IP del server web.
- Intervallo IP del server web. Intervallo IP per l'istanza del server web Airflow.
Intervallo IP Cloud SQL. per l'istanza Cloud SQL.
- Intervallo IP del piano di controllo GKE. per il piano di controllo GKE.
Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.
Intervalli IP predefiniti
Regione | Intervallo IP del piano di controllo GKE | Intervallo IP server web | Intervallo IP di Cloud SQL |
---|---|---|---|
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
Europa-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
Europa-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
Europa-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
Europa-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-ovest1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-sud1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Facoltativo) Configurare la connettività alle API e ai servizi Google
Come opzione, potresti voler instradare tutto il traffico alle API e ai servizi Google attraverso diversi indirizzi IP che appartengono al dominio private.googleapis.com
. Con questa configurazione, l'ambiente accede alle API e ai servizi Google
tramite indirizzi IP instradabili solo dall'interno di Google Cloud.
Se il tuo ambiente IP privato utilizza anche i Controlli di servizio VPC, consulta le istruzioni per gli ambienti con Controlli di servizio VPC.
Gli ambienti Cloud Composer utilizzano i seguenti domini:
*.googleapis.com
viene utilizzato per accedere ad altri servizi Google.*.pkg.dev
viene utilizzato per ricevere immagini dell'ambiente, ad esempio durante la creazione o l'aggiornamento di un ambiente.*.gcr.io
GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.
Configura la connettività all'endpoint private.googleapis.com
:
Dominio | Nome DNS | Record CNAME | Record A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome DNS: *.googleapis.com. Tipo di record di risorse: CNAME Nome canonico: googleapis.com. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nome DNS: *.pkg.dev. Tipo di record di risorse: CNAME Nome canonico: pkg.dev. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nome DNS: *.gcr.io. Tipo di record di risorse: CNAME Nome canonico: gcr.io. |
Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
Per creare una regola DNS:
Crea una nuova zona DNS e utilizza il nome DNS come nome DNS di questa zona.
Esempio:
pkg.dev.
Aggiungi un set di record per Record CNAME.
Esempio:
- Nome DNS:
*.pkg.dev.
- Tipo di record di risorse:
CNAME
- Nome canonico:
pkg.dev.
- Nome DNS:
Aggiungi un set di record per Record A:
Esempio:
- Tipo di record di risorse:
A
- Indirizzi IPv4:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Tipo di record di risorse:
Per ulteriori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.
(Facoltativo) Configurare le regole firewall
Esegui questo passaggio solo se il progetto ha regole firewall non predefinite, ad esempio regole che eseguono l'override delle regole firewall implicite o modificare le regole precompilate nella rete predefinita.
Ad esempio, Cloud Composer potrebbe non creare un ambiente se
hai una regola firewall che nega tutto il traffico in uscita. Per evitare problemi,
definisci regole allow
selettive che seguono l'elenco e hanno una priorità più elevata
rispetto alla regola deny
globale.
Configura la tua rete VPC in modo da consentire il traffico dal tuo ambiente:
- Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole per la tua rete VPC.
- Utilizza lo Strumento di connettività per convalidare la connettività tra intervalli IP.
- Puoi utilizzare i tag di rete per limitare ulteriormente l'accesso. Puoi impostare questi tag quando crei un ambiente.
Descrizione | Direzione | Azione | Origine o destinazione | Protocolli | Porte |
---|---|---|---|---|---|
DNS | In uscita | Consenti | Qualsiasi indirizzo IP di destinazione (0.0.0.0/0 ) o server DNS |
TCP, UDP | 53 |
API e servizi Google | In uscita | Consenti | Intervallo di indirizzi IP del dominio che hai scelto per le API e i servizi Google. Vedi Indirizzi IP per i domini predefiniti se utilizzi i valori predefiniti. | TCP | 443 |
Nodi cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP principali della subnet dell'ambiente | TCP, UDP | tutte |
Pod del cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP secondari per i pod nella subnet dell'ambiente | TCP, UDP | tutte |
Piano di controllo del cluster dell'ambiente | In uscita | Consenti | Intervallo IP del piano di controllo GKE | TCP, UDP | tutte |
Server web | In uscita | Consenti | Intervallo IP di rete del server web | TCP | 3306, 3307 |
Per ottenere gli intervalli IP:
Gli intervalli di indirizzi di pod, servizio e piano di controllo sono disponibili nella pagina Cluster del cluster del tuo ambiente:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione dell'ambiente.
Segui il link per visualizzare i dettagli del cluster.
Puoi visualizzare l'intervallo IP del server web dell'ambiente nella scheda Configurazione ambiente.
Puoi visualizzare l'ID rete dell'ambiente nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP per una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzare i dettagli:
Configurazione del cluster nativo di VPC
Cloud Composer supporta i cluster GKE nativi di VPC nel tuo ambiente.
Durante la creazione dell'ambiente, puoi attivare una rete VPC nativa (utilizzando IP alias) e configurare il networking, ad esempio l'allocazione degli IP, senza abilitare l'IP privato.
Poiché per le attività Airflow è necessario un cluster nativo di VPC per comunicare con altre VM raggiungibili tramite IP privati, devi anche abilitare VPC Native per configurare un ambiente IP privato.
Configura le impostazioni del server proxy
Puoi impostare le variabili di ambiente HTTP_PROXY
e HTTPS_PROXY
nel tuo ambiente. Queste variabili Linux standard sono utilizzate dai client web in esecuzione nei container del cluster del tuo ambiente per instradare il traffico attraverso i proxy specificati.
Per impostazione predefinita, la variabile NO_PROXY
è impostata su un elenco di domini Google in modo che vengano esclusi dal proxy:
.google.com,.googleapis.com,metadata.google.internal
. Questa configurazione
consente di creare un ambiente con variabili di ambiente HTTP_PROXY
e
HTTPS_PROXY
impostate nei casi in cui il proxy non sia configurato
per gestire il traffico verso i servizi Google.