Connettere un ambiente a una rete VPC

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega in che modo il tuo ambiente può accedere a una rete VPC in Cloud Composer 3, fornisce istruzioni per connettere un ambiente a una rete VPC e descrive come disattivare una connessione configurata in precedenza.

Informazioni sull'accesso alla rete VPC

In Cloud Composer 3, puoi attivare l'accesso a una rete VPC per un ambiente.

Se attivi l'accesso a una rete VPC per un ambiente:

  • I componenti di Airflow del tuo ambiente possono accedere agli endpoint di rete privata nella tua rete VPC. Ad esempio, il codice DAG può accedere alle risorse situate nella rete VPC tramite una connessione Airflow configurata.

  • Se il tuo ambiente utilizza la networking IP privato, tutto il traffico interno viene indirizzato alla tua rete VPC, tranne il traffico verso API, servizi e domini Google che sono disponibili per gli ambienti IP privato tramite l'accesso privato Google.

  • A seconda di come configuri la rete VPC, un ambiente IP privato può accedere a internet tramite la rete VPC.

  • Le zone DNS private definite nella rete VPC sono disponibili automaticamente per i componenti Airflow del tuo ambiente.

  • L'ambiente riserva due indirizzi IP nella subnet VPC.

Cloud Composer utilizza un collegamento di rete per connettere il tuo ambiente a una rete VPC:

  • Se specifichi una rete e una subnet VPC, Cloud Composer crea un nuovo allegato di rete nel progetto. Questo allegato viene eliminato dopo aver eliminato un ambiente, disabled la connessione a una rete VPC o sovrascritto i parametri di connessione VPC.

  • Se specifichi un collegamento di rete esistente, deve trovarsi nello stesso progetto dell'ambiente. Questo collegamento non viene eliminato dopo aver eliminato un ambiente, disattivato la connessione o sovrascritto i parametri di connessione VPC.

  • Nella rete VPC condivisa:

    • Assicurati di aver configurato la rete VPC condivisa per Cloud Composer. Consulta la pagina Configurare la rete VPC condivisa per informazioni sulla configurazione dei progetti e delle autorizzazioni per Cloud Composer.

    • Dopo aver configurato la rete VPC condivisa, puoi collegare il tuo ambiente a una rete VPC dal progetto host. Se utilizzi un collegamento di rete esistente, questo deve essere creato nel progetto di servizio (dove si trova l'ambiente) e collegato a una rete VPC condivisa.

Informazioni sull'intervallo IP interno dell'ambiente

Gli ambienti Cloud Composer 3 richiedono diversi indirizzi IP per i relativi componenti in esecuzione nel progetto tenant, ad esempio il cluster e il proxy Cloud SQL dell'ambiente. Questi indirizzi IP vengono ricavati dall'intervallo IP interno dell'ambiente.

  • L'intervallo IP interno predefinito è 100.64.128.0/20.

  • Puoi specificare un intervallo IP interno diverso quando crei un ambiente. Questo intervallo deve utilizzare una maschera /20.

  • Non puoi modificare l'intervallo IP interno di un ambiente esistente.

L'intervallo di indirizzi IP interno interagisce con la tua rete VPC nei seguenti modi:

  • L'intervallo IP interno non deve entrare in conflitto con la sottorete VPC a cui è connesso l'ambiente Cloud Composer. Non è possibile attivare una connessione con una sottorete VPC che si sovrappone all'intervallo IP interno.

  • Se l'intervallo IP interno di un ambiente si sovrappone agli intervalli della rete VPC, gli endpoint della rete VPC con indirizzi IP sovrapposti non sono accessibili dall'ambiente.

    Ad esempio, se l'intervallo interno è 100.64.128.0/20, qualsiasi richiesta all'endpoint 100.64.128.1 nella rete VPC non va a buon fine perché non esce dal progetto del tenant.

  • L'intervallo IP interno non è riservato. Puoi utilizzare lo stesso intervallo IP interno per più ambienti senza alcuna configurazione aggiuntiva perché le reti VPC interne utilizzate da ambienti diversi sono separate.

  • Puoi utilizzare gli indirizzi IP dell'intervallo interno per altri scopi, a condizione che i DAG e le attività nel tuo ambiente non inviino richieste.

Connessione a una rete VPC

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Nella sezione Configurazione di rete, individua l'elemento Allegato di rete e fai clic su Modifica.

  5. Nella finestra di dialogo Collegamento di rete:

    • Per creare un nuovo collegamento di rete, nell'elenco Collegamento di rete, seleziona Crea un nuovo collegamento di rete. Negli elenchi Rete e Subnet, seleziona una rete VPC e una subnet.

    • Per utilizzare un collegamento di rete esistente, selezionane uno dall'elenco Collegamento di rete.

  6. Fai clic su Salva.

gcloud

I seguenti argomenti della CLI Google Cloud specificano i parametri di connessione della rete VPC:

  • --network: ID rete VPC.
  • --subnetwork: ID subnet VPC.
  • --network-attachment: utilizza un collegamento di rete esistente.

Nuovo collegamento di rete

Per collegare il tuo ambiente a una rete VPC tramite un nuovo collegamento di rete, esegui il seguente comando della CLI Google Cloud:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente
  • NETWORK_ID: ID rete VPC
  • SUBNETWORK_ID: ID subnet VPC

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

Collegamento di rete esistente

Per collegare il tuo ambiente a una rete VPC tramite un nuovo collegamento di rete, esegui il seguente comando della CLI Google Cloud:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente
  • NETWORK_ATTACHMENT_ID: il collegamento di rete nel formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. Crea una richiesta API environments.patch.

  2. In questa richiesta:

    • Per creare un nuovo collegamento di rete:

      1. Nel parametro updateMask, specifica la maschera config.node_config.network,config.node_config.subnetwork.

      2. Nel corpo della richiesta, nei campi network e subnetwork, specifica gli ID della rete VPC e della subnet.

    • Per utilizzare un collegamento di rete esistente:

      1. Nel parametro updateMask, specifica la maschera config.node_config.composer_network_attachment.

      2. Nel corpo della richiesta, fornisci un valore per l'allegato della rete esistente nel formato projects/{project}/regions/{region}/networkAttachments/{networkAttachment}.

Esempio (nuovo collegamento di rete):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

Esempio (collegamento di rete esistente):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

I seguenti campi nel blocco node_config specificano i parametri di connessione della rete VPC:

  • network: ID rete VPC.
  • subnetwork: ID subnet VPC.
  • composer_network_attachment: utilizza un collegamento di rete esistente.

Nuovo collegamento di rete

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome del tuo ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.
  • NETWORK_ID: ID rete VPC
  • SUBNETWORK_ID: ID subnet VPC

Esempio (nuovo collegamento di rete):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

Collegamento di rete esistente

Di conseguenza, l'ambiente non utilizzerà più l'allegato. Per risolvere il problema, assicurati che Terraform ignori le modifiche al parametro producer_accept_lists dell'allegato, come segue:

resource "google_compute_network_attachment" "NETWORK_ATTACHMENT_ID" {
  lifecycle {
    ignore_changes = [producer_accept_lists]
  }
  # ... other configuration parameters
}

Successivamente, specifica questo allegato per un ambiente. Puoi anche specificare un allegato non gestito in Terraform, come nell'esempio.

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"
  config {
    node_config {
      composer_network_attachment = google_compute_network_attachment.NETWORK_ATTACHMENT_ID.id
    }
    # ... other configuration parameters
  }
}

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome del tuo ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.
  • NETWORK_ATTACHMENT_ID: l'ID allegato della rete.

Esempio (collegamento di rete esistente):

resource "google_compute_network_attachment" "example" {
  lifecycle {
    ignore_changes = [producer_accept_lists]
  }
  # ... other configuration parameters
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      # Attachment is managed in Terraform:

      composer_network_attachment = google_compute_network_attachment.NETWORK_ATTACHMENT_ID.id

      # Attachment is not managed in Terraform:

      # composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }
    # ... other configuration parameters
  }
}

Disattivare la connessione a una rete VPC

Console

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Nella sezione Configurazione di rete, individua l'elemento Allegato di rete e fai clic su Modifica.

  5. Nella finestra di dialogo Allegato alla rete, seleziona Nessuno e fai clic su Salva.

gcloud

Gli argomenti --disable-vpc-connectivity disattivano la connessione della rete VPC del tuo ambiente:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente
  • LOCATION: la regione in cui si trova l'ambiente

Esempio:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. Crea una richiesta API environments.patch.

  2. In questa richiesta:

    1. Nel parametro updateMask, specifica la maschera config.node_config.network,config.node_config.subnetwork.

    2. Nel corpo della richiesta, nei campi network e subnetwork, specifica valori vuoti.

Esempio:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Non è possibile scollegare una rete VPC utilizzando Terraform. In alternativa, puoi collegare una rete VPC diversa o scollegare la rete utilizzando altri strumenti come Google Cloud CLI.

Passaggi successivi