connetti un ambiente a una rete VPC

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega in che modo il tuo ambiente può accedere a una rete VPC in Cloud Composer 3, fornisce istruzioni per connettere un ambiente a una rete VPC e descrive come disabilitare una connessione configurata in precedenza.

Informazioni sull'accesso alla rete VPC

In Cloud Composer 3, puoi abilitare l'accesso a una rete VPC per un ambiente.

Se abiliti l'accesso a una rete VPC per un ambiente:

  • I componenti Airflow del tuo ambiente possono accedere agli endpoint di rete privata nella tua rete VPC. Ad esempio, il codice DAG può accedere alle risorse situate nella tua rete VPC tramite una connessione Airflow configurata.

  • Se il tuo ambiente utilizza il networking con IP privato, tutto il traffico interno, tranne il traffico verso l'API Google Services, viene instradato alla tua rete VPC.

  • A seconda di come configuri la rete VPC, un ambiente IP privato può accedere a internet tramite la tua rete VPC.

  • Indipendentemente dallo stato di accesso alla rete VPC, l'accesso alle API dei servizi Google è sempre possibile.

  • Le zone DNS private definite nella rete VPC sono automaticamente disponibili per i componenti Airflow del tuo ambiente.

  • L'ambiente prenota due indirizzi IP nella subnet VPC.

Cloud Composer utilizza un collegamento di rete per connettere il tuo ambiente a una rete VPC:

  • Se specifichi una rete VPC e una subnet, Cloud Composer crea un nuovo collegamento di rete nel progetto. Questo collegamento viene eliminato dopo che hai eliminato un ambiente, disabilitato la connessione a una rete VPC o sovrascritto i parametri di connessione VPC.

  • Se specifichi un collegamento di rete esistente, questo deve trovarsi nello stesso progetto con l'ambiente. Questo allegato non viene eliminato dopo l'eliminazione di un ambiente, la disattivazione della connessione o la sovrascrittura dei parametri di connessione VPC.

  • Nel networking VPC condiviso:

    • Assicurati di aver configurato il networking VPC condiviso per Cloud Composer. Consulta Configurare un VPC condiviso per informazioni sulla configurazione di progetti e autorizzazioni per Cloud Composer.

    • Dopo aver configurato il networking VPC condiviso, puoi connettere il tuo ambiente a una rete VPC dal progetto host. Se utilizzi un collegamento di rete esistente, deve essere creato nel progetto di servizio (in cui si trova l'ambiente) e collegato a una rete VPC condiviso.

Informazioni sull'intervallo IP interno dell'ambiente

Gli ambienti Cloud Composer 3 richiedono diversi indirizzi IP per i componenti che vengono eseguiti nel progetto tenant, come il cluster del tuo ambiente e il proxy Cloud SQL. Questi indirizzi IP vengono recuperati dall'intervallo IP interno dell'ambiente.

  • L'intervallo IP interno predefinito è 100.64.128.0/20.

  • Puoi specificare un intervallo IP interno diverso quando crei un ambiente. Questo intervallo deve utilizzare una maschera /20.

  • Non puoi modificare l'intervallo IP interno di un ambiente esistente.

L'intervallo IP interno interagisce con la tua rete VPC nei seguenti modi:

  • L'intervallo IP interno non deve essere in conflitto con la subnet VPC a cui è connesso l'ambiente Cloud Composer. Non è possibile abilitare una connessione con una subnet VPC che si sovrappone all'intervallo IP interno.

  • Se l'intervallo IP interno di un ambiente si sovrappone agli intervalli di rete VPC, gli endpoint della tua rete VPC con indirizzi IP sovrapposti non sono accessibili dall'ambiente.

    Ad esempio, se l'intervallo interno è 100.64.128.0/20, qualsiasi richiesta all'endpoint 100.64.128.1 nella tua rete VPC non va a buon fine perché la richiesta non lascia il progetto tenant.

  • L'intervallo IP interno non è riservato. Puoi utilizzare lo stesso intervallo IP interno per diversi ambienti senza alcuna configurazione aggiuntiva perché le reti VPC interne utilizzate da ambienti diversi sono separate.

  • Puoi utilizzare gli indirizzi IP dell'intervallo interno per altri scopi, a condizione che i DAG e le attività nel tuo ambiente non effettuino richieste.

Connessione a una rete VPC

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Nella sezione Configurazione di rete, trova l'elemento Collegamento di rete e fai clic su Modifica.

  5. Nella finestra di dialogo Collegamento di rete:

    • Per creare un nuovo collegamento di rete, seleziona Crea un nuovo collegamento di rete nell'elenco Collegamenti di rete. Negli elenchi Rete e Subnet, seleziona una rete VPC e una subnet.

    • Per utilizzare un collegamento di rete esistente, seleziona un collegamento nell'elenco Collegamenti di rete.

  6. Fai clic su Salva.

gcloud

I seguenti argomenti di Google Cloud CLI specificano i parametri di connessione di rete VPC:

  • --network: ID rete VPC.
  • --subnetwork: ID subnet VPC.
  • --network-attachment: utilizza un collegamento di rete esistente.

Nuovo collegamento di rete

Per connettere il tuo ambiente a una rete VPC tramite un nuovo collegamento di rete, esegui questo comando Google Cloud CLI:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente
  • NETWORK_ID: ID rete VPC
  • SUBNETWORK_ID: ID subnet VPC

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Collegamento di rete esistente

Per connettere il tuo ambiente a una rete VPC tramite un nuovo collegamento di rete, esegui questo comando Google Cloud CLI:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente
  • NETWORK_ATTACHMENT_ID: il collegamento di rete nel formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Creare una richiesta API environments.patch.

  2. In questa richiesta:

    • Per creare un nuovo collegamento di rete:

      1. Nel parametro updateMask, specifica la maschera config.node_config.network,config.node_config.subnetwork.

      2. Nel corpo della richiesta, nei campi network e subnetwork, specifica gli ID della rete VPC e della subnet.

    • Per utilizzare un collegamento di rete esistente:

      1. Nel parametro updateMask, specifica la maschera config.node_config.composer_network_attachment.

      2. Nel corpo della richiesta, specifica un valore per il collegamento di rete esistente nel formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Esempio (nuovo collegamento di rete):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Esempio (collegamento di rete esistente):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

I seguenti campi nel blocco node_config specificano i parametri di connessione alla rete VPC:

  • network: ID rete VPC.
  • subnetwork: ID subnet VPC.
  • composer_network_attachment: utilizza un collegamento di rete esistente.

Nuovo collegamento di rete

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.
  • NETWORK_ID: ID rete VPC
  • SUBNETWORK_ID: ID subnet VPC

Esempio (nuovo collegamento di rete):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Collegamento di rete esistente

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.
  • NETWORK_ATTACHMENT_ID: l'ID del collegamento di rete.

Esempio (collegamento di rete esistente):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

Disabilita la connessione a una rete VPC

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Nella sezione Configurazione di rete, trova l'elemento Collegamento di rete e fai clic su Modifica.

  5. Nella finestra di dialogo Collegamento di rete, seleziona Nessuno e fai clic su Salva.

gcloud

Gli argomenti --disable-vpc-connectivity disattivano la connessione di rete VPC del tuo ambiente:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Creare una richiesta API environments.patch.

  2. In questa richiesta:

    1. Nel parametro updateMask, specifica la maschera config.node_config.network,config.node_config.subnetwork.

    2. Nel corpo della richiesta, nei campi network e subnetwork, specifica valori vuoti.

Esempio:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Non è possibile scollegare una rete VPC utilizzando Terraform. Puoi invece collegare al suo posto un'altra rete VPC o scollegare la rete utilizzando altri strumenti come Google Cloud CLI.

Passaggi successivi