Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive come attivare l'agente di mascheramento IP per il tuo ambiente.
Informazioni sull'agente di mascheramento IP in Cloud Composer
Cloud Composer supporta l'agente IP Masquerade per i tuoi ambienti.
Il mascheramento degli indirizzi IP è una forma di Network Address Translation (NAT) utilizzata per di eseguire traduzioni degli indirizzi IP many-to-one. Ciò consente a più client per accedere a una destinazione da un singolo indirizzo IP.
Cloud Composer esegue i carichi di lavoro su GKE. Per il corretto funzionamento, sono necessari intervalli IP per i nodi (VM), nonché per i pod e i servizi GKE. Quando i DAG e le attività Airflow comunicano con altri servizi, utilizzano gli IP dei pod e questi intervalli IP di pod devono essere instradabili da e verso qualsiasi destinazione con cui interagiscono le attività.
Con l'agente IP Masquerade, hai la possibilità di tradurre gli indirizzi IP dei pod in indirizzi IP dei nodi, in modo che le destinazioni e i servizi scelti come target dalle attività e dai DAG di Airflow ricevano pacchetti solo dagli indirizzi IP dei nodi anziché dagli indirizzi IP dei pod. Ciò è utile negli ambienti che prevedono ricevono pacchetti solo dagli indirizzi IP dei nodi o dove gli intervalli IP dei pod instradabile all'esterno del cluster.
Inoltre, puoi utilizzare l'agente di mascheramento IP per salvare gli intervalli di rete la configurazione di rete. Ad esempio, puoi utilizzare una rete separata per i pod all'interno del cluster del tuo ambiente e mascherare questo traffico provenienti dall'intervallo di indirizzi IP del nodo. In questo modo, salvi l'indirizzo IP dello spazio di archiviazione in un intervallo, utilizzando gli indirizzi IP di un intervallo diverso per i pod per il cluster del tuo ambiente.
Ad esempio:
Utilizzi l'intervallo
10.0.0.0/8
per le VM e solo questo intervallo è consentito dalle tue regole firewall.Per salvare intervalli di rete, utilizza un intervallo diverso (ad esempio,
192.168.0.0/16
) per i pod nel cluster del tuo ambiente.Per poterti connettere a qualsiasi servizio da un pod (lavoratore Airflow), il mascheramento è necessario; altrimenti il servizio riceve traffico
192.168.0.0/16
e lo elimina a causa di una regola firewall. Con l'IP Agente mascherato abilitato e configurato, il servizio riceve richieste da10.0.0.0/8
, che sono accettati.
Prima di iniziare
Non è possibile abilitare l'agente di mascheramento IP nella console Google Cloud.
Per utilizzare questa funzionalità, devi creare un ambiente con GKE 1.22.7 o versioni successive.
L'agente di mascheramento IP non è disponibile per gli ambienti creati nelle versioni precedenti di GKE, anche se aggiornato alla versione 1.22.7 e alle versioni successive.
Abilita l'agente di mascheramento IP per un ambiente esistente
Non è possibile abilitare l'agente mascherato IP per un modello esistente completamente gestito di Google Cloud.
Abilita l'agente di mascheramento IP durante la creazione di un ambiente
Puoi abilitare l'agente di mascheramento IP quando crei un ambiente.
Per saperne di più sulla creazione di ambienti Cloud Composer, consulta Creare l'ambiente.
Console
Non è possibile abilitare l'agente di mascheramento IP nella console Google Cloud.
gcloud
Quando crei un ambiente, l'argomento --enable-ip-masq-agent
attiva l'agente di mascheramento IP.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.5-airflow-2.9.1 \
--enable-ip-masq-agent
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.5-airflow-2.9.1 \
--enable-ip-masq-agent
API
Creare una richiesta API environments.create
.
Specifica la configurazione nella risorsa Environment
.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "composer-2.9.5-airflow-2.9.1"
},
"nodeConfig": {
"enableIpMasqAgent": true
}
}
}
Sostituisci:
PROJECT_ID
con l'ID progetto.LOCATION
con la regione in cui si trova l'ambiente.ENVIRONMENT_NAME
con il nome dell'ambiente.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-2.9.5-airflow-2.9.1"
},
"nodeConfig": {
"enableIpMasqAgent": true
}
}
}
Terraform
Quando crei un ambiente, il campo enable_ip_masq_agent
nel blocco node_config
attiva l'agente di mascheramento IP.
resource "google_composer_environment" "example_environment" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "composer-2.9.5-airflow-2.9.1"
}
node_config {
enable_ip_masq_agent = true
}
}
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.
Esempio:
resource "google_composer_environment" "example_environment" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-2.9.5-airflow-2.9.1"
}
node_config {
enable_ip_masq_agent = true
}
}
}
Configura l'agente di mascheramento IP
Per ulteriori informazioni sull'utilizzo e sulla configurazione dell'agente di mascheramento IP in Cloud Composer 2, consulta Utilizzare il criterio NAT in uscita per configurare il mascheramento IP nei cluster Autopilot.