Configurazione della rete IP privata

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina fornisce informazioni sulla configurazione della rete del progetto Google Cloud per gli ambienti IP privati.

Per gli ambienti IP privati, Cloud Composer assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente.

Come opzione, puoi anche utilizzare gli indirizzi IP pubblici utilizzati privatamente e l'agente di mascheramento IP per risparmiare spazio per gli indirizzi IP e utilizzare indirizzi non RFC 1918.

Per informazioni sulla connessione alle risorse nel tuo ambiente, consulta IP privato.

Prima di iniziare

Controlla i requisiti di rete

Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:

  • Assicurati che non esistano conflitti di blocchi di IP privati. Se la rete VPC e i relativi peering VPC stabiliti hanno blocchi IP sovrapposti con la rete VPC nel progetto tenant gestito da Google, Cloud Composer non può creare il tuo ambiente. Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.

  • Assicurati che siano presenti intervalli IP secondari sufficienti per i pod e i servizi GKE di Cloud Composer. GKE cerca intervalli IP secondari per gli alias IP. Se GKE non riesce a trovare un intervallo, Cloud Composer non può per creare l'ambiente.

  • Assicurati che il numero di intervalli secondari nella subnet non superi i 30. Considera quanto segue:

    • Il cluster GKE per l'ambiente IP privato crea due intervalli secondari nella sottorete. Puoi creare più istanze subnet nella stessa regione per lo stesso VPC in ogni rete.
    • Il numero massimo di intervalli secondari supportati è 30. Ogni ambiente IP privato richiede due intervalli secondari per i pod e i servizi GKE di Cloud Composer.

  • Assicurati che la rete del progetto possa supportare il limite sul numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti IP privati che che è possibile creare dipende dal numero di reti VPC già esistenti delle connessioni in peering nella tua rete VPC.

  • Ogni ambiente IP privato utilizza al massimo due peering VPC per completamente gestito di Google Cloud. Cloud Composer crea un peering VPC per della rete del progetto tenant. Il secondo peering viene creato cluster GKE del tuo ambiente e I cluster GKE possono riutilizzare questa connessione.

Scegliere una rete, una subnet e intervalli di reti

Scegli gli intervalli di rete per il tuo ambiente IP privato (o utilizza quelli predefiniti). Utilizzerai questi intervalli di rete in seguito quando crei un ambiente IP privato.

Per creare un ambiente IP privato, devi disporre delle seguenti informazioni:

  • L'ID della rete VPC
  • L'ID della subnet VPC
  • Due intervalli IP secondari nella subnet VPC:
    • Intervallo IP secondario per i pod
    • Intervallo IP secondario per i servizi

  • Intervalli IP per i componenti dell'ambiente:

    • Intervallo IP del piano di controllo GKE. Intervallo IP per il control plane GKE.
      • Intervallo IP del server web.
    • Intervallo IP server web. Intervallo IP per l'istanza del server web di Airflow.

    • Intervallo IP Cloud SQL. Intervallo IP per l'istanza Cloud SQL.

Consulta la tabella degli intervalli IP predefiniti per conoscere i valori predefiniti utilizzati in ogni regione.

Intervalli IP predefiniti

Regione Intervallo IP del control plane GKE Intervallo IP server web Intervallo IP di Cloud SQL
Africa-sud1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
io-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Facoltativo) Configurare la connettività con i servizi e le API di Google

Come opzione, potresti voler indirizzare tutto il traffico alle API e ai servizi Google attraverso diversi indirizzi IP che appartengono all'private.googleapis.com dominio. In questa configurazione, il tuo ambiente accede alle API di Google tramite indirizzi IP instradabili solo dall'interno di Google Cloud.

Se il tuo ambiente IP privato utilizza anche i Controlli di servizio VPC, segui invece le istruzioni per gli ambienti con Controlli di servizio VPC.

Gli ambienti Cloud Composer utilizzano i domini seguenti:

  • *.googleapis.com viene utilizzato per accedere ad altri servizi Google.

  • *.pkg.dev viene utilizzato per ottenere immagini dell'ambiente, ad esempio quando crei o aggiorni un ambiente.

  • *.gcr.io GKE richiede la connettività a Dominio Container Registry indipendentemente dalla versione di Cloud Composer.

Configura la connettività all'endpoint private.googleapis.com:

Dominio Nome DNS Record CNAME Record A
*.googleapis.com googleapis.com. Nome DNS: *.googleapis.com.
Tipo di record di risorse: CNAME
Nome canonico: googleapis.com.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. Nome DNS: *.pkg.dev.
Tipo di record di risorse: CNAME
Nome canonico: pkg.dev.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. Nome DNS: *.gcr.io.
Tipo di record di risorse: CNAME
Nome canonico: gcr.io.
 Tipo di record di risorse: A
Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Per creare una regola DNS:

  1. Crea una nuova zona DNS e utilizza Nome DNS come nome DNS di questa zona.

    Esempio: pkg.dev.

  2. Aggiungi un insieme di record per il record CNAME.

    Esempio:

    • Nome DNS: *.pkg.dev.
    • Tipo di record di risorse: CNAME
    • Nome canonico: pkg.dev.

  3. Aggiungi un set di record con un record A:

    Esempio:

    • Tipo di record di risorse: A
    • Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Per ulteriori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.

(Facoltativo) Configurare le regole firewall

Esegui questo passaggio solo se il progetto ha regole firewall non predefinite, ad esempio quelle che sostituiscono le regole firewall implicite o modificano le regole precaricate nella rete predefinita.

Ad esempio, Cloud Composer potrebbe non creare un ambiente se esiste una regola firewall che nega tutto il traffico in uscita. Per evitare problemi, definisci regole allow selettive che seguono l'elenco e hanno una priorità più elevata della regola deny globale.

Configura la rete VPC in modo da consentire il traffico dal tuo ambiente:

Descrizione Direzione Azione Origine o destinazione Protocolli Porte
DNS In uscita Consenti Qualsiasi indirizzo IP di destinazione (0.0.0.0/0) o di server DNS TCP, UDP 53
API e servizi Google In uscita Consenti Intervallo di indirizzi IP del dominio scelto per le API e i servizi Google. Consulta la sezione Indirizzi IP per i domini predefiniti se utilizzi i valori predefiniti. TCP 443
Nodi del cluster dell'ambiente In uscita Consenti Intervallo di indirizzi IP principali della subnet dell'ambiente TCP, UDP tutte
Pod del cluster dell'ambiente In uscita Consenti Intervallo di indirizzi IP secondario per i pod nella subnet dell'ambiente TCP, UDP tutte
Piano di controllo del cluster dell'ambiente In uscita Consenti Intervallo IP del piano di controllo GKE TCP, UDP tutte
Server web In uscita Consenti Intervallo IP di rete server web TCP 3306, 3307

Per ottenere gli intervalli IP:

  • Gli intervalli di indirizzi di pod, servizi e piano di controllo sono disponibili la pagina Cluster del cluster del tuo ambiente:

    1. Nella console Google Cloud, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

    3. Vai alla scheda Configurazione dell'ambiente.

    4. Segui il link Visualizza i dettagli del cluster.

  • Puoi vedere i dati sull'ambiente intervallo IP del server web nella scheda Configurazione dell'ambiente.

  • Puoi vedere i dati sull'ambiente ID rete nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP di una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzarne i dettagli:

    Vai a Reti VPC

Configurazione del cluster nativo di VPC

Cloud Composer supporta di cluster GKE VPC nativi nel tuo ambiente.

Durante la creazione dell'ambiente, puoi attivare la rete VPC nativa (utilizzando l'IP alias) e configurare la rete, ad esempio l'allocazione IP, senza attivare l'IP privato.

Poiché è necessario un cluster nativo VPC per consentire alle attività di Airflow di comunicare con altre VM raggiungibili tramite IP privati, devi anche attivare VPC Native per configurare un ambiente IP privato.

Configurare le impostazioni del server proxy

Puoi impostare le variabili di ambiente HTTP_PROXY e HTTPS_PROXY nel tuo ambiente. Queste variabili Linux standard vengono utilizzate dai client web eseguite in container del cluster del tuo ambiente per instradare il traffico dei proxy specificati.

Per impostazione predefinita, la variabile NO_PROXY è impostata su un elenco di domini Google in modo che siano esclusi dal proxy: .google.com,.googleapis.com,metadata.google.internal. Questa configurazione consente di creare un ambiente con il set HTTP_PROXY HTTPS_PROXY variabili di ambiente nei casi in cui il proxy non sia configurato per gestire il traffico verso i servizi Google.