Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina fornisce informazioni sulla configurazione della rete del progetto Google Cloud per gli ambienti IP privati.
Per gli ambienti IP privati, Cloud Composer assegna solo IP privato (RFC 1918) alla versione gestita di Google Kubernetes Engine e VM di Cloud SQL nel tuo ambiente.
Come opzione, puoi anche utilizzare indirizzi IP pubblici utilizzati privatamente e l'agente di mascheramento IP per salvare l'indirizzo IP e di utilizzare indirizzi non RFC 1918.
Per informazioni su come connetterti alle risorse nel tuo ambiente, consulta IP privato.
Prima di iniziare
- Assicurati di disporre delle autorizzazioni appropriate per gli account utente e di servizio per creare un ambiente.
- Verifica che nel progetto non siano definiti criteri dell'organizzazione incompatibili.
Controlla i requisiti di rete
Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:
Assicurati che non ci siano conflitti di blocchi IP privati. Se le tue Rete VPC e relativo VPC stabilito i peer hanno blocchi IP sovrapposti con il VPC nel progetto tenant gestito da Google, Cloud Composer non può creare il tuo ambiente. Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.
Assicurati che siano disponibili intervalli IP secondari sufficienti i pod e i servizi GKE di Cloud Composer. GKE cerca intervalli IP secondari per l'alias IP. Se GKE non riesce a trovare un intervallo, Cloud Composer non può per la creazione dell'ambiente.
Assicurati che il numero di intervalli secondari nella subnet non superi i 30. Considera quanto segue:
- Il cluster GKE per l'ambiente IP privato crea due intervalli secondari nella subnet. Puoi creare più istanze subnet nella stessa regione per lo stesso VPC in ogni rete.
- Il numero massimo di intervalli secondari supportati è 30. Ciascuna L'ambiente IP privato richiede due intervalli secondari i pod e i servizi GKE di Cloud Composer.
Assicurati che la rete del progetto possa soddisfare il limite sul numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti IP privato che puoi creare dipende dal numero di connessioni di peering VPC già esistenti nella tua rete VPC.
Ogni ambiente IP privato utilizza al massimo due peering VPC per completamente gestito di Google Cloud. Cloud Composer crea un peering VPC per la rete del progetto del tenant. Il secondo peering viene creato cluster GKE del tuo ambiente e I cluster GKE possono riutilizzare questa connessione.
Scegliere una rete, una subnet e intervalli di reti
Scegli gli intervalli di rete per il tuo ambiente IP privato (o utilizza quelle predefinite). Potrai utilizzare questi intervalli di rete in un secondo momento, per creare un ambiente IP privato.
Per creare un ambiente IP privato, devi disporre delle seguenti informazioni:
- ID rete VPC
- L'ID della subnet VPC
- Due intervalli IP secondari nella subnet VPC:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Intervalli IP per i componenti dell'ambiente:
- Intervallo IP del piano di controllo GKE. Intervallo IP per
il piano di controllo GKE.
- Intervallo IP del server web.
- Intervallo IP del server web. Intervallo IP per l'istanza del server web di Airflow.
Intervallo IP Cloud SQL. Intervallo IP per Cloud SQL in esecuzione in un'istanza Compute Engine.
- Intervallo IP del piano di controllo GKE. Intervallo IP per
il piano di controllo GKE.
Consulta la tabella degli intervalli IP predefiniti per conoscere i valori predefiniti utilizzati in ogni regione.
Intervalli IP predefiniti
| Regione | Intervallo IP del control plane GKE | Intervallo IP del server web | Intervallo IP di Cloud SQL |
|---|---|---|---|
| africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
| asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
| asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
| asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
| asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
| asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
| asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
| asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
| asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
| asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
| australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
| australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
| europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
| europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
| europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
| europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
| europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
| europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
| europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
| europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
| europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
| europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
| europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
| me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| io-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
| northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
| northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
| southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
| southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
| us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
| us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
| us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
| us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
| us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
| us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
| us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
| us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
| us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Facoltativo) Configurare la connettività alle API e ai servizi Google
Come opzione, potresti voler indirizzare tutto il traffico alle API e ai servizi Google
attraverso diversi indirizzi IP che appartengono all'private.googleapis.com
dominio. In questa configurazione, il tuo ambiente accede alle API di Google
tramite indirizzi IP instradabili solo dall'interno di Google Cloud.
Se il tuo ambiente IP privato utilizza anche i Controlli di servizio VPC, segui invece le istruzioni per gli ambienti con Controlli di servizio VPC.
Gli ambienti Cloud Composer utilizzano i seguenti domini:
*.googleapis.comviene utilizzato per accedere ad altri servizi Google.*.pkg.devviene utilizzato per ottenere immagini dell'ambiente, ad esempio durante la creazione o aggiornare un ambiente.*.gcr.ioGKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.
Configura la connettività all'endpoint private.googleapis.com:
| Dominio | Nome DNS | Record CNAME | Record A |
|---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nome DNS: *.googleapis.com.Tipo di record di risorse: CNAMENome canonico: googleapis.com. |
Tipo di record di risorse: AIndirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nome DNS: *.pkg.dev.Tipo di record di risorse: CNAMENome canonico: pkg.dev. |
Tipo di record di risorse: AIndirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nome DNS: *.gcr.io.Tipo di record di risorse: CNAMENome canonico: gcr.io. |
Tipo di record di risorse: AIndirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
|
Per creare una regola DNS:
Crea una nuova zona DNS e utilizza un nome DNS come nome DNS. di questa zona.
Esempio:
pkg.dev.Aggiungi un insieme di record per il record CNAME.
Esempio:
- Nome DNS:
*.pkg.dev. - Tipo di record di risorse:
CNAME - Nome canonico:
pkg.dev.
- Nome DNS:
Aggiungi un set di record con un record A:
Esempio:
- Tipo di record di risorse:
A - Indirizzi IPv4:
199.36.153.8,199.36.153.9,199.36.153.10,199.36.153.11
- Tipo di record di risorse:
Per ulteriori informazioni, vedi Configurazione della connettività privata alle API e ai servizi Google.
(Facoltativo) Configura le regole del firewall
Esegui questo passaggio solo se il tuo progetto ha regole firewall non predefinite, come regole che hanno la precedenza regole firewall implicite oppure modificare le regole precompilate in la rete predefinita.
Ad esempio, Cloud Composer potrebbe non creare un ambiente se
esiste una regola firewall che nega tutto il traffico in uscita. Per evitare problemi,
definisci regole allow selettive che seguono l'elenco e hanno una priorità più elevata
della regola deny globale.
Configura la rete VPC per consentire il traffico dal tuo ambiente:
- Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole per la rete VPC.
- Utilizza le funzionalità di Strumento di connettività per convalidare la connettività tra intervalli IP.
- Puoi utilizzare i tag di networking per limitare l'accesso. Puoi impostare questi tag quando crei un ambiente.
| Descrizione | Direzione | Azione | Origine o destinazione | Protocolli | Porte |
|---|---|---|---|---|---|
| DNS | In uscita | Consenti | Qualsiasi destinazione (0.0.0.0/0) o indirizzi IP del server DNS |
TCP, UDP | 53 |
| API e servizi Google | In uscita | Consenti | Intervallo di indirizzi IP del dominio che hai scelto per le API e i servizi Google. Consulta la sezione Indirizzi IP per i domini predefiniti se utilizzi i valori predefiniti. | TCP | 443 |
| Nodi del cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP principali della subnet dell'ambiente | TCP, UDP | tutte |
| Pod del cluster dell'ambiente | In uscita | Consenti | Intervallo di indirizzi IP secondari per i pod nella subnet dell'ambiente | TCP, UDP | tutte |
| Control plane del cluster dell'ambiente | In uscita | Consenti | Intervallo IP del control plane GKE | TCP, UDP | tutte |
| Server web | In uscita | Consenti | Intervallo IP della rete del server web | TCP | 3306, 3307 |
Per ottenere gli intervalli IP:
Gli intervalli di indirizzi di pod, servizi e piano di controllo sono disponibili la pagina Cluster del cluster del tuo ambiente:
Nella console Google Cloud, vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.
Vai alla scheda Configurazione dell'ambiente.
Segui il link per visualizzare i dettagli del cluster.
Puoi vedere i dati sull'ambiente intervallo IP del server web nella scheda Configurazione dell'ambiente.
Puoi vedere l'ID rete dell'ambiente nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP di una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzarne i dettagli:
Configurazione del cluster nativo di VPC
Cloud Composer supporta i cluster GKE nativi VPC nel tuo ambiente.
Durante la creazione dell'ambiente, puoi abilitare VPC Native (utilizzando IP alias) e configurare ad esempio l'allocazione IP, senza abilitare l'IP privato.
Poiché è necessario un cluster nativo VPC per consentire alle attività di Airflow di comunicare con altre VM raggiungibili tramite IP privati, devi anche attivare VPC Native per configurare un ambiente IP privato.
Configura le impostazioni del server proxy
Puoi impostare HTTP_PROXY e HTTPS_PROXY variabili di ambiente
nel tuo ambiente. Queste variabili di Linux standard vengono utilizzate dai client web che vengono eseguiti nei contenitori del cluster del tuo ambiente per instradare il traffico tramite i proxy specificati.
Per impostazione predefinita, la variabile NO_PROXY è impostata su un elenco di domini Google, pertanto
esclusi dal proxy:
.google.com,.googleapis.com,metadata.google.internal. Questa configurazione consente di creare un ambiente con le variabili di ambiente HTTP_PROXY e HTTPS_PROXY impostate nei casi in cui il proxy non sia configurato per gestire il traffico verso i servizi Google.