Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina spiega come creare un ambiente Cloud Composer.
- Per ulteriori informazioni sugli ambienti, consulta Architettura dell'ambiente.
- Per saperne di più sulla creazione di un ambiente con Terraform, consulta Creare ambienti (Terraform).
Prima di iniziare
Abilita l'API Cloud Composer. Per l'elenco completo dei servizi usati da Cloud Composer, vedi Servizi richiesti da Cloud Composer.
Il tempo approssimativo per la creazione di un ambiente è 25 minuti.
Durante la creazione dell'ambiente, specifichi un servizio . Cloud Composer associa questo account a un account di servizio Kubernetes del cluster dell'ambiente.
Per impostazione predefinita, gli ambienti Cloud Composer utilizzano l'account di servizio Compute Engine predefinito gestito da Google. Ti consigliamo di creare un account di servizio gestito dall'utente che abbia un ruolo specifico per Cloud Composer e di utilizzarlo per i tuoi ambienti.
Se crei un ambiente con Terraform, l'account di servizio utilizzato Terraform deve avere un ruolo con l'autorizzazione
composer.environments.create
abilitata.Per saperne di più sull'account di servizio per Terraform, consulta Riferimento per la configurazione del provider Google.
Per ulteriori informazioni sull'utilizzo di Terraform per la creazione per l'ambiente Cloud Composer, consulta Documentazione di Terraform.
Per ulteriori informazioni sui parametri aggiuntivi, vedi Riferimento all'argomento Terraform.
IP privato: esistono requisiti specifici di rete e peering per per creare un ambiente IP privato. Per ulteriori informazioni, consulta Configurare l'IP privato.
VPC condiviso: esistono requisiti di rete specifici per utilizzare il VPC condiviso con Cloud Composer. Per informazioni, vedi Configurazione di un VPC condiviso.
Controlli di servizio VPC: per eseguire il deployment di ambienti Cloud Composer all'interno di un perimetro di sicurezza, consulta Configurazione dei Controlli di servizio VPC. Se utilizzati con Cloud Composer, i Controlli di servizio VPC presentano diversi limiti noti.
Passaggio 1: Impostazione di base
Questo passaggio crea un ambiente Cloud Composer con nella posizione specificata.
Console
Nella console Google Cloud, vai alla pagina Crea ambiente.
Nel campo Nome, inserisci un nome per l'ambiente.
Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare componenti secondari per l'ambiente, quindi devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket di restrizioni.
Nell'elenco a discesa Località, scegli una località per il tuo ambiente.
Una località è la regione in cui si trova l'ambiente.
Nell'elenco a discesa Versione immagine, seleziona un'immagine Cloud Composer con le completamente gestita di Airflow.
gcloud
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 minuscoli lettere, numeri o trattini e non può terminare con un trattino. Ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, quindi devi fornire un nome che sia valido anche come Cloud Storage il nome del bucket. Consulta le linee guida per la denominazione dei bucket di restrizioni.
LOCATION
con la regione per l'ambiente.Una località è la regione in cui si trova l'ambiente.
IMAGE_VERSION
con il nome di un'immagine di Cloud Composer.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1
API
Crea una richiesta API environments.create
. Specifica la configurazione nella risorsa Environment
.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "IMAGE_VERSION"
}
}
}
Sostituisci:
PROJECT_ID
con l'ID progetto.LOCATION
con la regione per l'ambiente.Una località è la regione in cui si trova l'ambiente.
ENVIRONMENT_NAME
con il nome dell'ambiente.Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare componenti secondari per l'ambiente, quindi devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket di restrizioni.
IMAGE_VERSION
con il nome di un'immagine di Cloud Composer.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-2.9.4-airflow-2.9.1"
}
}
}
Terraform
Per creare un ambiente con parametri predefiniti in una posizione specificata,
aggiungi il seguente blocco di risorse alla configurazione di Terraform ed esegui
terraform apply
.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "IMAGE_VERSION"
}
}
}
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 minuscoli lettere, numeri o trattini e non può terminare con un trattino. Ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, quindi devi fornire un nome che sia valido anche come Cloud Storage il nome del bucket. Consulta le linee guida per la denominazione dei bucket di restrizioni.
LOCATION
con la regione per l'ambiente.Una località è la regione in cui si trova l'ambiente.
IMAGE_VERSION
con il nome di un'immagine di Cloud Composer.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-2.9.4-airflow-2.9.1"
}
}
}
Passaggio 2: (Facoltativo) Seleziona un account di servizio per il tuo ambiente
Cloud Composer associa questo account di servizio al servizio Kubernetes l'account di servizio del tuo ambiente. I nodi nel cluster del tuo ambiente vengono eseguiti come l'account di servizio Kubernetes e utilizzare le associazioni per accedere alle risorse progetto Google Cloud, ad esempio i file di definizione DAG nel tuo del bucket dell'ambiente.
Per impostazione predefinita, gli ambienti Cloud Composer utilizzano account di servizio Compute Engine predefinito. I nostri suggerimenti di configurare un account di servizio gestito dall'utente Ambienti Cloud Composer.
Non potrai modificare l'account di servizio del tuo ambiente in un secondo momento.
Console
Nella pagina Crea ambiente, nel menu a discesa Account di servizio seleziona un account di servizio per il tuo ambiente.
gcloud
Quando crei un ambiente, il parametro --service-account
specifica
l'account di servizio
per il tuo ambiente.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--service-account "SERVICE_ACCOUNT"
Sostituisci:
SERVICE_ACCOUNT
con l'account di servizio per il tuo ambiente.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--service-account "example-account@example-project.iam.gserviceaccount.com"
API
Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, specifica un account di servizio per l'ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
Sostituisci:
SERVICE_ACCOUNT
con l'account di servizio per il tuo ambiente.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Terraform
Quando crei un ambiente, utilizza il campo service_account
nel blocco node_config
.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
Sostituisci:
SERVICE_ACCOUNT
con l'account di servizio per il tuo ambiente.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
service_account = "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Passaggio 3: Concedi le autorizzazioni necessarie al service account di Cloud Composer
Quando attivi l'API Cloud Composer nel tuo progetto, viene creato l'account Agente di servizio Composer. Cloud Composer utilizza questo account per eseguire operazioni nel progetto Google Cloud.
Il ruolo Cloud Composer v2 API Service Agent Extension fornisce autorizzazioni aggiuntive all'account agente di servizio Cloud Composer. Questo ruolo non viene concesso automaticamente. Devi concederlo manualmente.
Console
Quando crei un ambiente nel progetto, L'agente di servizio Cloud Composer non dispone delle autorizzazioni necessarie per l'account di servizio dell'ambiente, quindi una sezione Concedi le autorizzazioni necessarie all'account di servizio di Cloud Composer. .
Aggiungi l'account dell'agente di servizio Cloud Composer come nuova entità sull'account di servizio del tuo ambiente e concedi l'API Cloud Composer v2 il ruolo Estensione agente di servizio.
Conferma di utilizzare l'account di servizio previsto per il tuo ambiente e fai clic su Concedi.
gcloud
Aggiungi l'account agente di servizio Cloud Composer come nuovo principale all'account di servizio del tuo ambiente e assegnagli il ruolo Estensione agente di servizio API Cloud Composer v2.
gcloud iam service-accounts add-iam-policy-binding \
SERVICE_ACCOUNT \
--member serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com \
--role roles/composer.ServiceAgentV2Ext
Sostituisci:
SERVICE_ACCOUNT
con l'account di servizio per il tuo ambiente.PROJECT_NUMBER
con il numero del progetto.
Esempio:
gcloud iam service-accounts add-iam-policy-binding \
example-account@example-project.iam.gserviceaccount.com \
--member serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com \
--role roles/composer.ServiceAgentV2Ext
API
Per concedere il ruolo, devi modificare il criterio di autorizzazione esistente utilizzando il pattern di lettura, modifica e scrittura:
- Leggi il criterio di autorizzazione esistente per l'account di servizio del tuo ambiente.
- Modificalo in modo da includere il ruolo
roles/composer.ServiceAgentV2Ext
per l'agente di servizio Cloud Composer. - Riscrivere il criterio di autorizzazione esistente.
Per ulteriori informazioni, vedi Controllare l'accesso tramite programmazione.
{
"role": "roles/composer.ServiceAgentV2Ext",
"members": [
"serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
]
}
Sostituisci:
PROJECT_NUMBER
con il numero di progetto.
Esempio:
{
"role": "roles/composer.ServiceAgentV2Ext",
"members": [
"serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
]
}
Terraform
Aggiungi una nuova associazione di ruolo al criterio di autorizzazione dell'account di servizio del tuo ambiente.
Aggiungi l'account dell'agente di servizio Cloud Composer come nuova entità sull'account di servizio del tuo ambiente e concedi l'API Cloud Composer v2 il ruolo Estensione agente di servizio.
Se non utilizzi Terraform per definire il criterio di autorizzazione dell'account di servizio dell'ambiente, non utilizzare l'esempio seguente. Aggiungi invece questa associazione utilizzando altri metodi.
resource "google_service_account_iam_member" "custom_service_account" {
provider = google-beta
service_account_id = "SERVICE_ACCOUNT"
role = "roles/composer.ServiceAgentV2Ext"
member = "serviceAccount:service-PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com"
}
Sostituisci:
SERVICE_ACCOUNT
con l'account di servizio per il tuo ambiente.PROJECT_NUMBER
con il numero di progetto.
Esempio:
resource "google_service_account_iam_member" "custom_service_account" {
provider = google-beta
service_account_id = "example-account@example-project.iam.gserviceaccount.com"
role = "roles/composer.ServiceAgentV2Ext"
member = "serviceAccount:service-00000000000@cloudcomposer-accounts.iam.gserviceaccount.com"
}
Passaggio 4: (Facoltativo) Configura i parametri di scalabilità e prestazioni dell'ambiente
Per specificare la configurazione di scalabilità e prestazioni per il tuo ambiente, seleziona la configurazione delle dimensioni e dei carichi di lavoro dell'ambiente.
Puoi modificare tutti i parametri di rendimento e scala dopo aver creato un ambiente.
I seguenti parametri controllano la scalabilità e il rendimento:
Dimensioni dell'ambiente. Controlla i parametri di rendimento dell'account Infrastruttura Cloud Composer che include Airflow per configurare un database. Considera la possibilità di selezionare una dimensione dell'ambiente più grande se vuoi eseguire un un numero elevato di DAG e attività.
Configurazione dei carichi di lavoro. Controlla la portata e il rendimento dei tuoi componenti dell'ambiente eseguiti in un cluster GKE: Airflow scheduler, server web Airflow e worker di Airflow.
Scheduler di Airflow. Analizza i file di definizione dei DAG, pianifica le esecuzioni dei DAG in base all'intervallo pianificato e accoda le attività per l'esecuzione da parte dei worker di Airflow.
Il tuo ambiente può eseguire più di uno scheduler Airflow contemporaneamente. Utilizza più pianificatori per distribuire il carico tra diverse istanze dello scheduler in modo da migliorare le prestazioni e l'affidabilità.
L'aumento del numero di scheduler non migliora sempre Airflow le prestazioni dei dispositivi. Ad esempio, avere un solo programma potrebbe offrire un rendimento migliore rispetto a due. Questo può accadere quando lo scheduler aggiuntivo e quindi consuma risorse del tuo ambiente senza rispetto al rendimento complessivo. Le prestazioni effettive dello scheduler dipendono il numero di worker Airflow, il numero di DAG e attività in esecuzione nel tuo dell'ambiente e della configurazione di Airflow e dell'ambiente.
Ti consigliamo di iniziare con due scheduler e poi di monitorare le prestazioni del tuo ambiente. Se modifichi il numero di scheduler, puoi sempre scalare l'ambiente al numero originale di scheduler.
Per ulteriori informazioni sulla configurazione di più scheduler, vedi Documentazione di Airflow.
Attivazione del flusso d'aria. Monitora in modo asincrono tutte le attività differite completamente gestito di Google Cloud. Se hai almeno un'istanza dell'attivatore nel tuo (o almeno due in ambienti altamente resilienti), puoi utilizza operatori ripristinabili nei DAG.
Server web Airflow. Esegue l'interfaccia web di Airflow in cui puoi per monitorare, gestire e visualizzare i DAG.
Worker Airflow. Esegui le attività pianificate dagli scheduler di Airflow. Il numero minimo e massimo di worker nel tuo ambiente cambia in modo dinamico a seconda del numero di attività in coda.
Console
Puoi selezionare una preimpostazione per il tuo ambiente. Quando selezioni una preimpostazione, vengono selezionati automaticamente i parametri di scala e rendimento per quella preimpostazione. Puoi anche selezionare una preimpostazione personalizzata e specificare tutte le parametri delle prestazioni per il tuo ambiente.
Per selezionare la configurazione di scalabilità e prestazioni per il tuo ambiente, su la pagina Crea ambiente:
Per utilizzare valori predefiniti, nella sezione Risorse dell'ambiente, fai clic su Piccola, Media o Grande.
Per specificare valori personalizzati per i parametri di scala e di rendimento:
Nella sezione Risorse dell'ambiente, fai clic su Personalizzato.
Nella sezione Scheduler, imposta il numero di pianificatori da utilizzare e l'allocazione delle risorse per CPU, memoria e spazio di archiviazione.
Nella sezione Trigger, utilizza il campo Numero di trigger per inserire il numero di trigger nel tuo ambiente. Puoi impostare questo numero su 0 se non vuoi utilizzare operatori posticipabili nei tuoi DAG.
Se imposti almeno un triggerer per il tuo ambiente, utilizza CPU e Memory (Memoria) per configurare l'allocazione delle risorse per i triggerer.
Nella sezione Processore DAG, specifica il numero di processori DAG nel tuo ambiente e la quantità di CPU, memoria e spazio di archiviazione per ciascun processore DAG.
Nella sezione Server web, specifica la quantità di CPU, memoria e stoccaggio per il server web.
Nella sezione Worker, specifica:
- Il numero minimo e massimo di worker per i limiti di scalabilità automatica in del tuo ambiente.
- L'allocazione di CPU, memoria e spazio di archiviazione per i worker
Nella sezione Infrastruttura di base, nell'elenco a discesa Dimensione dell'ambiente, seleziona la dimensione dell'ambiente.
gcloud
Quando crei un ambiente, i seguenti argomenti controllano la i parametri di scalabilità e prestazioni del tuo ambiente.
--environment-size
specifica le dimensioni dell'ambiente.--scheduler-count
specifica il numero di pianificatori.--scheduler-cpu
specifica il numero di CPU per uno scheduler Airflow.--scheduler-memory
specifica la quantità di memoria per un flusso di dati Airflow scheduler.--scheduler-storage
specifica la quantità di spazio su disco per un pianificatore Airflow.--triggerer-count
specifica il numero di triggerer di Airflow in completamente gestito di Google Cloud. Il valore predefinito di questo flag è0
. Gli attivatori sono necessari se vuoi utilizzare operatori differibili nei tuoi DAG.- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
0
e10
. - Per ambienti altamente resilienti, utilizza
0
o un valore compreso tra2
e10
.
- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
--triggerer-cpu
specifica il numero di CPU per un flusso Airflow in unità vCPU. Valori consentiti:0.5
,0.75
,1
. Il valore predefinito è0.5
.--triggerer-memory
specifica la quantità di memoria per un triggerer Airflow, in GB. Il valore predefinito è0.5
.La memoria minima richiesta è uguale al numero di CPU allocate per gli attivatori. Il valore massimo consentito è uguale al numero di CPU del triggerer moltiplicate per 6,5.
Ad esempio, se imposti il flag
--triggerer-cpu
su1
, il valore il valore minimo di--triggerer-memory
è1
e il Il valore massimo è6.5
.--web-server-cpu
specifica il numero di CPU per il server web Airflow.--web-server-memory
specifica la quantità di memoria per il server web Airflow.--web-server-storage
specifica la quantità di spazio su disco per il server web Airflow.--worker-cpu
specifica il numero di CPU per un worker Airflow.--worker-memory
specifica la quantità di memoria per un worker Airflow.--worker-storage
specifica la quantità di spazio su disco per un flusso di lavoro Airflow worker.--min-workers
specifica il numero minimo di worker Airflow. Il tuo del cluster dell'ambiente esegue almeno questo numero di worker.--max-workers
specifica il numero massimo di worker Airflow. Il tuo del cluster dell'ambiente esegue al massimo questo numero di worker.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--environment-size ENVIRONMENT_SIZE \
--scheduler-count SCHEDULER_COUNT \
--scheduler-cpu SCHEDULER_CPU \
--scheduler-memory SCHEDULER_MEMORY \
--scheduler-storage SCHEDULER_STORAGE \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE \
--worker-cpu WORKER_CPU \
--worker-memory WORKER_MEMORY \
--worker-storage WORKER_STORAGE \
--min-workers WORKERS_MIN \
--max-workers WORKERS_MAX
Sostituisci:
ENVIRONMENT_SIZE
consmall
,medium
olarge
.SCHEDULER_COUNT
con il numero di scheduler.SCHEDULER_CPU
con il numero di CPU per uno scheduler, in unità vCPU.SCHEDULER_MEMORY
con la quantità di memoria per uno scheduler.SCHEDULER_STORAGE
con le dimensioni del disco per un pianificatore.TRIGGERER_COUNT
con il numero di attivatori.TRIGGERER_CPU
con il numero di CPU per un triggerer, in unità vCPU.TRIGGERER_MEMORY
con la quantità di memoria per un attivatore, in GB.WEB_SERVER_CPU
con il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
con la quantità di memoria per il server web.WEB_SERVER_STORAGE
con la quantità di memoria per il server web.WORKER_CPU
con il numero di CPU per un worker, in unità vCPU.WORKER_MEMORY
con la quantità di memoria per un worker.WORKER_STORAGE
con le dimensioni del disco per un worker.WORKERS_MIN
con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non superiore a questo numero, anche se un numero inferiore di worker è in grado di gestire al carico.WORKERS_MAX
con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non superiore a questo numero, anche se è necessario un numero più elevato di worker per gestire il carico.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--environment-size small \
--scheduler-count 1 \
--scheduler-cpu 0.5 \
--scheduler-memory 2.5GB \
--scheduler-storage 2GB \
--triggerer-count 1 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5GB \
--web-server-cpu 1 \
--web-server-memory 2.5GB \
--web-server-storage 2GB \
--worker-cpu 1 \
--worker-memory 2GB \
--worker-storage 2GB \
--min-workers 2 \
--max-workers 4
API
Quando crei un ambiente, nella sezione Ambiente > EnvironmentConfig > Risorsa WorkloadsConfig, specifica l'ambiente di scalabilità e parametri di prestazioni.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": SCHEDULER_CPU,
"memoryGb": SCHEDULER_MEMORY,
"storageGb": SCHEDULER_STORAGE,
"count": SCHEDULER_COUNT
},
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
},
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
},
"worker": {
"cpu": WORKER_CPU,
"memoryGb": WORKER_MEMORY,
"storageGb": WORKER_STORAGE,
"minCount": WORKERS_MIN,
"maxCount": WORKERS_MAX
}
},
"environmentSize": "ENVIRONMENT_SIZE"
}
}
Sostituisci:
SCHEDULER_CPU
con il numero di CPU per uno scheduler, in unità vCPU.SCHEDULER_MEMORY
con la quantità di memoria per uno scheduler, in GB.SCHEDULER_STORAGE
con la dimensione del disco per un pianificatore, in GB.SCHEDULER_COUNT
con il numero di scheduler.TRIGGERER_COUNT
con il numero di triggerer. Il valore predefinito è0
. Ti servono gli attivatori se vuoi usa operatori decriptabili nei DAG.- Per ambienti di resilienza standard, utilizza un valore compreso tra
0
e10
. - Per ambienti altamente resilienti, utilizza
0
o un valore compreso tra2
e10
.
Se utilizzi almeno un trigger, devi specificare anche Parametri
TRIGGERER_CPU
eTRIGGERER_MEMORY
:- Per ambienti di resilienza standard, utilizza un valore compreso tra
TRIGGERER_CPU
specifica il numero di CPU per un attivatore, in unità vCPU. Valori consentiti:0.5
,0.75
,1
.TRIGGERER_MEMORY
configura la quantità di memoria per un attivatore. La memoria minima richiesta è uguale al numero di CPU allocate per i triggerer. Il valore massimo consentito è uguale al numero di CPU del triggerer moltiplicato per 6,5.Ad esempio, se imposti
TRIGGERER_CPU
su1
, il valore minimo perTRIGGERER_MEMORY
è1
e il valore massimo è6.5
.WEB_SERVER_CPU
con il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
con la quantità di memoria per il server web, in GB.WEB_SERVER_STORAGE
con le dimensioni del disco per il server web, in GB.WORKER_CPU
con il numero di CPU per un worker, in unità vCPU.WORKER_MEMORY
con la quantità di memoria per un worker, in GB.WORKER_STORAGE
con la dimensione del disco per un worker, in GB.WORKERS_MIN
con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non deve superare questo numero, anche se un numero inferiore di worker può gestire il carico.WORKERS_MAX
con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non superiore a questo numero, anche se è necessario un numero più elevato di worker per gestire il carico.ENVIRONMENT_SIZE
con la dimensione dell'ambiente,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": 2.5,
"memoryGb": 2.5,
"storageGb": 2,
"count": 1
},
"triggerer": {
"cpu": 0.5,
"memoryGb": 0.5,
"count": 1
},
"webServer": {
"cpu": 1,
"memoryGb": 2.5,
"storageGb": 2
},
"worker": {
"cpu": 1,
"memoryGb": 2,
"storageGb": 2,
"minCount": 2,
"maxCount": 4
}
},
"environmentSize": "ENVIRONMENT_SIZE_SMALL"
}
}
Terraform
Quando crei un ambiente, i seguenti argomenti controllano la scalabilità i parametri delle prestazioni del tuo ambiente.
Nel blocco
config
:- Il campo
environment_size
controlla le dimensioni dell'ambiente.
- Il campo
Nel blocco
workloads_config
:- Il campo
scheduler.cpu
specifica il numero di CPU per un pianificatore Airflow. - Il campo
scheduler.memory_gb
specifica la quantità di memoria per un Scheduler di Airflow. - Il campo
scheduler.storage_gb
specifica la quantità di spazio su disco per un pianificatore. - Il campo
scheduler.count
specifica il numero di pianificatori nel tuo ambiente. - Il campo
triggerer.cpu
specifica il numero di CPU per un flusso di lavoro Airflow triggerer. - Il campo
triggerer.memory_gb
specifica la quantità di memoria per un trigger Airflow. Il campo
triggerer.count
specifica il numero di attivatori nel tuo ambiente.Il campo
web_server.cpu
specifica il numero di CPU per il server web di Airflow.Il campo
web_server.memory_gb
specifica la quantità di memoria per il server web di Airflow.Il campo
web_server.storage_gb
specifica la quantità di spazio su disco per il server web Airflow.Il campo
worker.cpu
specifica il numero di CPU per un flusso di lavoro Airflow worker.Il campo
worker.memory_gb
specifica la quantità di memoria per un worker Airflow.Il campo
worker.storage_gb
specifica la quantità di spazio su disco per un Worker Airflow.Il campo
worker.min_count
specifica il numero minimo di worker nel tuo ambiente.Il campo
worker.max_count
specifica il numero massimo di worker nel tuo ambiente.
- Il campo
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
cpu = SCHEDULER_CPU
memory_gb = SCHEDULER_MEMORY
storage_gb = SCHEDULER_STORAGE
count = SCHEDULER_COUNT
}
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
worker {
cpu = WORKER_CPU
memory_gb = WORKER_MEMORY
storage_gb = WORKER_STORAGE
min_count = WORKERS_MIN
max_count = WORKERS_MAX
}
}
environment_size = "ENVIRONMENT_SIZE"
}
}
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.SCHEDULER_CPU
con il numero di CPU per uno scheduler, in unità vCPU.SCHEDULER_MEMORY
con la quantità di memoria per uno scheduler, in GB.SCHEDULER_STORAGE
con la dimensione del disco per un pianificatore, in GB.SCHEDULER_COUNT
con il numero di scheduler.TRIGGERER_COUNT
con il numero di attivatori.TRIGGERER_CPU
con il numero di CPU per un triggerer, in unità vCPU.TRIGGERER_MEMORY
con la quantità di memoria per un attivatore, in GB.WEB_SERVER_CPU
con il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
con la quantità di memoria per il server web, in GB.WEB_SERVER_STORAGE
con le dimensioni del disco per il server web, in GB.WORKER_CPU
con il numero di CPU per un worker, in unità vCPU.WORKER_MEMORY
con la quantità di memoria per un worker, in GB.WORKER_STORAGE
con la dimensione del disco per un worker, in GB.WORKERS_MIN
con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non deve superare questo numero, anche se un numero inferiore di worker può gestire il carico.WORKERS_MAX
con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non superiore a questo numero, anche se è necessario un numero più elevato di worker per gestire il carico.ENVIRONMENT_SIZE
con la dimensione dell'ambiente,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
cpu = 2.5
memory_gb = 2.5
storage_gb = 2
count = 1
}
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
web_server {
cpu = 1
memory_gb = 2.5
storage_gb = 2
}
worker {
cpu = 1
memory_gb = 2
storage_gb = 2
min_count = 2
max_count = 4
}
}
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
Passaggio 5: (Facoltativo) Attiva la modalità ad alta resilienza
Gli ambienti Cloud Composer altamente resilienti sono ambienti che utilizzano meccanismi di ridondanza e failover integrati che riducono la suscettibilità dell'ambiente a guasti zonali e interruzioni di servizio causate da single point of failure.
Un ambiente altamente resiliente si trova
almeno due zone di una regione selezionata. Esattamente due pianificatori Airflow, due web
server e almeno due triggerer
(se il numero di triggerer non è impostato su 0
) vengono eseguiti in
zone separate.
Il numero minimo di worker è impostato su due e il cluster del tuo ambiente
distribuisce le istanze worker tra le zone. Nel caso di un'interruzione a livello di zona,
le istanze worker vengono ripianificate in una zona diversa. Il database Cloud SQL di un ambiente altamente resiliente è un'istanza regionale con un'istanza principale e un'istanza di standby.
Console
Nella pagina Crea ambiente:
Nella sezione Modalità di resilienza, seleziona Elevata resilienza.
Nella sezione Risorse dell'ambiente, seleziona i parametri di scala per un un ambiente altamente resiliente. Gli ambienti altamente resilienti richiedono esattamente due pianificatori, zero o tra due e dieci attivatori e almeno due worker:
Fai clic su Custom (Personalizzate).
Nell'elenco a discesa Numero di scheduler, seleziona
2
.Nell'elenco a discesa Numero di triggerer, seleziona
0
. o un valore compreso tra2
e10
. Configura la CPU e memoria per i tuoi triggerer.Nell'elenco a discesa Numero minimo di worker, seleziona
2
oppure in più, a seconda del numero di worker richiesto.
Nella sezione Configurazione di rete:
In Tipo di rete, seleziona Ambiente IP privato.
Se necessario, specifica altri parametri di networking.
gcloud
Quando crei un ambiente, l'argomento --enable-high-resilience
attiva la modalità di elevata resilienza.
Imposta i seguenti argomenti:
--enable-high-resilience
--enable-private-environment
e altri parametri di rete per un ambiente IP privato, se necessario- Da
--scheduler-count
a2
Da
--triggerer-count
a0
o un valore compreso tra2
e10
. Se usi gli attivatori,--triggerer-cpu and
--triggerer-memory` sono necessari anche i flag per la creazione dell'ambiente.Per ulteriori informazioni su
--triggerer-count
,--triggerer-cpu
e--triggerer-memory
flag; consulta Configura la scalabilità dell'ambiente e i parametri delle prestazioni.--min-workers
a2
o più
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--enable-high-resilience \
--enable-private-environment \
--scheduler-count 2 \
--triggerer-count 2 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5 \
--min-workers 2
API
Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, attiva la modalità di elevata resilienza.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"resilience_mode": "HIGH_RESILIENCE"
}
}
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"resilience_mode": "HIGH_RESILIENCE"
}
}
Terraform
Quando crei un ambiente, il campo resilience_mode
nella sezione config
a blocchi attiva la modalità ad alta resilienza.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
resilience_mode = "HIGH_RESILIENCE"
}
}
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
resilience_mode = "HIGH_RESILIENCE"
}
Passaggio 6: (Facoltativo) Specifica una zona per il database dell'ambiente
Puoi specificare una zona Cloud SQL preferita durante la creazione di un un ambiente di resilienza.
Console
Nella pagina Crea ambiente:
Nella sezione Configurazione avanzata, espandi l'elemento Mostra configurazione avanzata.
Nell'elenco Zona del database Airflow, seleziona un'opzione preferita nella zona Cloud SQL.
gcloud
Quando crei un ambiente, l'argomento --cloud-sql-preferred-zone
specifica una zona Cloud SQL preferita.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--cloud-sql-preferred-zone SQL_ZONE
Sostituisci quanto segue:
SQL_ZONE
: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--cloud-sql-preferred-zone us-central1-a
API
Quando crei un ambiente, nella sezione Ambiente > DatabaseConfig, specifica nella zona Cloud SQL preferita.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"databaseConfig": {
"zone": "SQL_ZONE"
}
}
}
Sostituisci quanto segue:
SQL_ZONE
: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"databaseConfig": {
"zone": "us-central1-a"
}
}
}
Terraform
Quando crei un ambiente, il campo zone
nel blocco database_config
specifica la zona Cloud SQL preferita.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
database_config {
zone = "SQL_ZONE"
}
}
}
Sostituisci quanto segue:
SQL_ZONE
: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.
Passaggio 7: (Facoltativo) Configura la rete del tuo ambiente
I parametri di networking dipendono dal tipo di ambiente che vuoi crea:
Ambiente IP pubblico. Utilizza i parametri di rete predefiniti.
Ambiente IP privato (con PSC). In questa configurazione, il tuo ambiente utilizza Private Service Connect per la connettività.
Configura l'ambiente IP privato:
- Configura la rete del progetto per gli ambienti IP privati.
- Configurare Private Service Connect quando crei il tuo ambiente.
- Specifica altri parametri per l'ambiente IP privato. come descritto più dettagliatamente in questa sezione.
Per un ambiente IP privato con PSC, devi sapere:
- ID rete VPC
- ID subnet VPC
Due intervalli IP secondari nella subnet VPC:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Intervalli IP per i componenti dell'ambiente:
- Intervallo IP del piano di controllo GKE. Intervallo IP per il piano di controllo GKE.
- Subnet di connessione Cloud Composer. Intervallo IP per la subnet di connessione Cloud Composer.
Ambiente IP privato (peering VPC). In questa configurazione, il tuo ambiente utilizza i peering VPC per la connettività.
Configura il tuo ambiente IP privato:
- Configura la rete del progetto per gli ambienti IP privati.
- Specifica altri parametri per il tuo ambiente IP privato, come descritto più avanti in questa sezione.
Per un ambiente IP privato con peering VPC, devi sapere:
- L'ID della rete VPC
- ID subnet VPC
Due intervalli IP secondari nella subnet VPC:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Intervalli IP per i componenti dell'ambiente:
Intervallo IP per il piano di controllo GKE.
Intervallo IP per il peering VPC da esportare dalla rete interna Cloud Composer alla rete selezionata. I componenti dell'infrastruttura Cloud Composer utilizzano indirizzi IP di questo intervallo.
Intervallo IP per l'istanza Cloud SQL.
Per un ambiente VPC condiviso, devi eseguire un'ulteriore configurazione di rete per il progetto host, quindi crea un ambiente IP pubblico o privato in progetto di servizio. Segui le istruzioni riportate nella pagina Configurazione del VPC condiviso.
Per un ambiente VPC condiviso, devi sapere:
- L'ID rete VPC del progetto host
L'ID della subnet VPC del progetto host
Due intervalli IP secondari nella subnet VPC del progetto host:
- Intervallo IP secondario per i pod
- Intervallo IP secondario per i servizi
Quando crei un ambiente VPC condiviso con IP pubblico, devi comunque specifica la rete VPC, la subnet e gli intervalli IP secondari del progetto host per pod e servizi.
Per creare un ambiente SC VPC, devi creare un perimetro di servizio e poi creerai ambienti IP privati all'interno di questo perimetro. Segui le istruzioni descritte in Configurare i Controlli di servizio VPC.
Le opzioni di networking aggiuntive per gli ambienti sono:
- Indirizzi IP pubblici utilizzati privatamente. Se vuoi utilizzare più indirizzi IP, il tuo ambiente può utilizzare privatamente determinati intervalli di indirizzi IP pubblici come intervalli di indirizzi IP di subnet interni per pod e servizi.
- Reti autorizzate. Se vuoi accedere al piano di controllo nell'ambiente IP privato mediante HTTPS, puoi utilizzare Reti autorizzate per specificare intervalli CIDR in grado di farlo.
- Agente di mascheramento IP. Utilizzando gli ambienti con il mascheramento IP di indirizzi IP, puoi utilizzare le traduzioni many-to-one degli indirizzi IP configurazioni di networking dell'ambiente di rete. Per ulteriori informazioni sulla creazione di ambienti con un agente di mascheramento IP, consulta Abilitare l'agente di mascheramento IP.
Console
Per creare un ambiente IP privato:
Assicurati che la rete sia configurata per il tipo di ambiente che vuoi creare.
Nella sezione Configurazione di rete, espandi l'elemento Mostra configurazione di rete.
Nell'elenco a discesa Rete, seleziona l'ID rete VPC.
Nell'elenco a discesa Subnet, seleziona l'ID della subnet del VPC.
Nella sezione Intervallo IP secondario per i pod, seleziona o specifica l'intervallo IP secondario per i pod. Puoi utilizzare un intervallo secondario esistente nella tua rete VPC o scegliere di utilizzare un intervallo creato automaticamente.
Nella sezione Intervallo IP secondario per i servizi, seleziona o specifica l'intervallo IP secondario per i servizi. Puoi utilizzare un intervallo secondario esistente nella tua rete VPC o scegliere di utilizzare un intervallo creato automaticamente.
Nella sezione Tipo di rete, seleziona Ambiente IP privato per creare un ambiente IP privato.
Nella sezione Connettività di Composer, seleziona il tipo di rete per il tuo ambiente e specifica gli intervalli IP per i componenti dell'ambiente:
Per un ambiente che utilizza Private Service Connect:
Seleziona Private Service Connect per un ambiente che utilizza Private Service Connect.
Nella sezione Subnet di connessione Composer, specifica un intervallo IP per la subnet di connessione Cloud Composer. L'indirizzo per l'endpoint PSC viene selezionato da questo intervallo. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.
Per un ambiente che utilizza i peering VPC:
Seleziona Peering VPC per un ambiente che utilizza i peering VPC.
Nella sezione Intervallo IP per la rete tenant Composer, specifica un intervallo IP per la rete tenant Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.
Nella sezione Intervallo IP per la rete Cloud SQL, specifica un intervallo IP per l'istanza Cloud SQL. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.
Nell'intervallo IP per la rete del piano di controllo GKE specifica un intervallo IP per il piano di controllo GKE:
Per utilizzare l'intervallo IP predefinito per la regione dove si trova il tuo ambiente, seleziona Intervallo IP predefinito.
Per specificare un intervallo IP personalizzato, seleziona Intervallo IP personalizzato e inserisci un intervallo in notazione CIDR nel campo IP privato del master del cluster GKE.
Seleziona il livello di accesso per il control plane GKE. Il control plane ha due endpoint. Un endpoint è privato e può essere utilizzato da VM e nodi del cluster. Un altro endpoint è pubblico. Puoi specificare livello di accesso per l'endpoint pubblico:
Per abilitare l'accesso all'endpoint pubblico dalle reti autorizzate, seleziona la casella di controllo Accedi all'endpoint del control plane del cluster utilizzando l'indirizzo IP esterno.
Questa opzione imposta il livello di accesso per il piano di controllo in "Accesso pubblico agli endpoint abilitato, reti autorizzate abilitate". In questo modo, viene fornito l'accesso limitato al control plane dalle reti autorizzate. Per impostazione predefinita, non vengono specificati indirizzi IP di origine. Puoi aggiungi reti autorizzate al cluster.
Per disabilitare l'accesso all'endpoint pubblico dalle reti autorizzate, cancella Accedi all'endpoint del piano di controllo del cluster utilizzando della casella di controllo dell'indirizzo IP esterno.
L'utilizzo di questa opzione imposta il livello di accesso per il piano di controllo su "Accesso all'endpoint pubblico disabilitato". In questo modo viene impedito qualsiasi accesso a internet al piano di controllo.
gcloud
Assicurati che la rete sia configurata per il tipo di ambiente che vuoi creare.
Quando crei un ambiente, i seguenti argomenti controllano i parametri di networking. Se ometti un parametro, il valore predefinito è in uso.
--enable-private-environment
abilita un ambiente IP privato.--network
specifica l'ID rete VPC.--subnetwork
specifica l'ID della subnet VPC.--cluster-secondary-range-name
o--cluster-ipv4-cidr
configura l'intervallo secondario per i pod.--services-secondary-range-name
o--services-ipv4-cidr
per configurare l'intervallo secondario per i servizi.--master-ipv4-cidr
specifica un intervallo per il piano di controllo GKE.
(Ambienti con PSC)
--connection-subnetwork
specifica un intervallo per la subnet di connessione Cloud Composer, che ospita la PSC endpoint.(Ambienti con peering VPC)
--composer-network-ipv4-cidr
specifica un intervallo per la rete tenant di Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente.(Ambienti con peering VPC)
--cloud-sql-ipv4-cidr
specifica un intervallo per l'istanza Cloud SQL.
--enable-private-endpoint
controlla l'accesso a livello per il control plane GKE. Il piano di controllo ha due endpoint. Un endpoint è privato e può essere utilizzato da nodi del cluster e VM. Un altro endpoint è pubblico. Puoi specificare il livello di accesso per endpoint pubblico:Per consentire l'accesso all'endpoint pubblico dalle reti autorizzate, ometti l'argomento
--enable-private-endpoint
.L'utilizzo di questa opzione imposta il livello di accesso per il control plane su "Accesso all'endpoint pubblico abilitato, reti autorizzate abilitate". In questo modo viene fornito l'accesso limitato al control plane dalle reti autorizzate. Per impostazione predefinita, non viene specificato nessun indirizzo IP di origine. Puoi aggiungere reti autorizzate al cluster.
Per disattivare l'accesso all'endpoint pubblico dalle reti autorizzate, specifica l'argomento
--enable-private-endpoint
.L'utilizzo di questa opzione imposta il livello di accesso per il piano di controllo su "Accesso all'endpoint pubblico disabilitato". In questo modo viene impedito qualsiasi accesso a internet al piano di controllo.
Gli argomenti
--enable-master-authorized-networks
e--master-authorized-networks
configurano le reti autorizzate per il tuo ambiente.Configurazione di
--enable-privately-used-public-ips
indirizzi IP pubblici utilizzati privatamente per il tuo ambiente.--enable-ip-masq-agent
Attiva l'agente di mascheramento IP.
Esempio (ambiente IP privato)
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--enable-private-environment \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID \
--cluster-ipv4-cidr PODS_RANGE \
--services-ipv4-cidr SERVICES_RANGE \
--master-ipv4-cidr CONTROL_PLANE_RANGE \
--connection-subnetwork COMPOSER_PSC_RANGE \
Sostituisci:
NETWORK_ID
con l'ID rete VPC.SUBNETWORK_ID
con l'ID della tua subnet VPC.PODS_RANGE
con l'intervallo secondario per i pod.SERVICES_RANGE
con l'intervallo secondario per i servizi.CONTROL_PLANE_RANGE
con l'intervallo secondario per GKE dal piano di controllo.COMPOSER_PSC_RANGE
con l'intervallo per Cloud Composer nella subnet di connessione.
Passaggio 8: (Facoltativo) Aggiungere tag di rete
I tag di rete vengono applicati a tutte le VM del nodo nel cluster del tuo ambiente. I tag vengono utilizzati per identificare origini o destinazioni valide per i firewall di rete. Ogni tag all'interno dell'elenco deve essere conforme allo standard RFC 1035.
Ad esempio, potresti voler aggiungere tag di rete se prevedi di limitare il traffico per un ambiente IP privato con regole firewall.
Console
Nella pagina Crea ambiente:
- Individua la sezione Configurazione di rete.
- Nel campo Tag di rete, inserisci i tag di rete per il tuo ambiente.
gcloud
Quando crei un ambiente, i seguenti argomenti controllano i tag di rete:
--tags
specifica un elenco separato da virgole di tag di rete applicati a tutte le VM del nodo.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--tags TAGS
Sostituisci:
TAGS
con un elenco separato da virgole di tag di rete.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--tags group1,production
API
Quando crei un ambiente, nella sezione Ambiente > Risorsa EnvironmentConfig, specifica i tag di rete per il tuo ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"tags": [
"TAG"
]
}
}
}
Sostituisci:
TAG
con un tag di rete.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"tags": [
"group1",
"production"
]
}
}
}
Terraform
Quando crei un ambiente, i seguenti campi definiscono i tag di rete per l'ambiente:
- Il campo
tags
nel blocconode_config
specifica un elenco separato da virgole di tag di rete applicati a tutte le VM del nodo.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
tags = ["TAGS"]
}
}
}
Sostituisci:
TAGS
con un elenco separato da virgole di tag di rete.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
tags = ["group1","production"]
}
}
}
Passaggio 9: (Facoltativo) Configura l'accesso di rete al server web
I parametri di accesso al server web di Airflow non dipendono dal tipo di completamente gestito di Google Cloud. In alternativa, puoi configurare l'accesso al server web separatamente. Ad esempio, un ambiente IP privato può comunque avere l'interfaccia utente di Airflow accessibile da internet.
Non puoi configurare gli intervalli IP consentiti utilizzando indirizzi IP privati.
Console
Nella pagina Crea ambiente:
Nella sezione Configurazione di rete, espandi l'elemento Mostra configurazione di rete.
Nella sezione Controllo dell'accesso di rete al server web:
Per fornire l'accesso al server web Airflow da tutti gli indirizzi IP, seleziona Consenti l'accesso da tutti gli indirizzi IP.
Per limitare l'accesso solo a intervalli IP specifici, seleziona Consentire l'accesso solo da indirizzi IP specifici. Nel campo Intervallo IP, specifica un intervallo IP nella notazione CIDR. Nel campo Descrizione, specifica una descrizione facoltativa per questo intervallo. Se vuoi specificare più di un intervallo, fai clic su Aggiungi IP intervallo.
Per vietare l'accesso per tutti gli indirizzi IP, seleziona Consenti l'accesso solo da indirizzi IP specifici, quindi fai clic su Elimina elemento accanto al campo voce di intervallo.
gcloud
Quando crei un ambiente, i seguenti argomenti controllano il server web livello di accesso:
--web-server-allow-all
fornisce l'accesso ad Airflow da tutti gli indirizzi IP. Questa è l'opzione predefinita.--web-server-allow-ip
limita l'accesso solo a un IP di origine specifico intervalli di tempo. Per specificare più intervalli IP, utilizza questo argomento più volte.--web-server-deny-all
vieta l'accesso per tutti gli indirizzi IP.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION
Sostituisci:
WS_IP_RANGE
con l'intervallo IP, nella notazione CIDR, che può accedere UI di Airflow.WS_RANGE_DESCRIPTION
con la descrizione dell'intervallo IP.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
--web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"
API
Quando crei un ambiente, nella sezione Ambiente > Risorsa EnvironmentConfig, specifica il server web parametri di accesso.
Per fornire l'accesso al server web Airflow da tutti gli indirizzi IP, ometti
webServerNetworkAccessControl
.Per limitare l'accesso solo a intervalli IP specifici, specifica uno o più intervalli nel seguente paese:
allowedIpRanges
.Per vietare l'accesso per tutti gli indirizzi IP, aggiungi
allowedIpRanges
e crea un elenco vuoto. Non specificare intervalli IP.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "WS_IP_RANGE",
"description": "WS_RANGE_DESCRIPTION"
}
]
}
}
}
Sostituisci:
WS_IP_RANGE
con l'intervallo IP, nella notazione CIDR, che può accedere UI di Airflow.WS_RANGE_DESCRIPTION
con la descrizione dell'intervallo IP.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "192.0.2.0/24",
"description": "office net 1"
},
{
"value": "192.0.4.0/24",
"description": "office net 3"
}
]
}
}
}
Terraform
Quando crei un ambiente, il blocco allowed_ip_range
nel blocco web_server_network_access_control
contiene intervalli IP che possono accedere al server web.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
web_server_network_access_control {
allowed_ip_range {
value = "WS_IP_RANGE"
description = "WS_RANGE_DESCRIPTION"
}
}
}
}
Sostituisci:
WS_IP_RANGE
con l'intervallo IP, nella notazione CIDR, che può accedere UI di Airflow.WS_RANGE_DESCRIPTION
con la descrizione dell'intervallo IP.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
web_server_network_access_control {
allowed_ip_range {
value = "192.0.2.0/24"
description = "office net 1"
},
allowed_ip_range {
value = "192.0.4.0/24"
description = "office net 3"
}
}
}
Passaggio 10: (Facoltativo) Specifica gli override della configurazione e le variabili di ambiente di Airflow
Puoi configurare gli override della configurazione di Airflow e variabili di ambiente quando crei un ambiente. Come in alternativa, puoi farlo in un secondo momento, dopo la creazione dell'ambiente.
Alcune opzioni di configurazione di Airflow sono bloccate e non puoi eseguire l'override.
Per l'elenco delle opzioni di configurazione di Airflow disponibili, consulta Riferimento per la configurazione di Airflow 2 e Airflow 1.10.*
Per specificare le variabili di ambiente e gli override della configurazione di Airflow:
Console
Nella pagina Crea ambiente:
Nella sezione Variabili di ambiente, fai clic su Aggiungi variabile di ambiente.
Inserisci il Nome e il Valore per la variabile di ambiente.
Nella sezione Override della configurazione Airflow, fai clic su Aggiungi override della configurazione Airflow.
Inserisci la Sezione, la Chiave e il Valore per la configurazione override dell'opzione.
Ad esempio:
Sezione Chiave Valore webserver
dag_orientation
TB
gcloud
Quando crei un ambiente, i seguenti argomenti controllano le variabili di ambiente e gli override della configurazione di Airflow:
--env-variables
specifica un elenco di ambienti separato da virgole come la codifica one-hot delle variabili categoriche.I nomi delle variabili possono contenere lettere maiuscole e minuscole, cifre e trattini bassi, ma non possono iniziare con una cifra.
--airflow-configs
specifica un elenco di chiavi e valori separati da virgole per le sostituzioni della configurazione di Airflow.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--env-variables ENV_VARS \
--airflow-configs CONFIG_OVERRIDES
Sostituisci:
ENV_VARS
con un elenco di coppieNAME=VALUE
separate da virgole per le variabili di ambiente.CONFIG_OVERRIDES
con un elenco di coppieSECTION-KEY=VALUE
separate da virgole per le sostituzioni di configurazione. Separa il nome della sezione di configurazione con un simbolo-
, seguito dal nome della chiave. Ad esempio:core-dags_are_paused_at_creation
.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
--airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB
API
Quando crei un ambiente, nella sezione Ambiente > Risorsa EnvironmentConfig, specifica variabili di ambiente e override della configurazione Airflow.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"SECTION-KEY": "OVERRIDE_VALUE"
},
"envVariables": {
"VAR_NAME": "VAR_VALUE",
}
}
}
}
Sostituisci:
SECTION
con la sezione del file di configurazione in cui viene usato Airflow di configurazione.KEY
con il nome dell'opzione di configurazione Airflow.OVERRIDE_VALUE
con un valore dell'opzione di configurazione Airflow.VAR_NAME
con il nome della variabile di ambiente.VAR_VALUE
con il valore della variabile di ambiente.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"core-dags_are_paused_at_creation": "True",
"webserver-dag_orientation": "TB"
},
"envVariables": {
"SENDGRID_MAIL_FROM": "user@example.com",
"SENDGRID_API_KEY": "example-key"
}
}
}
}
Terraform
Quando crei un ambiente, il seguente blocco dell'ambiente di controllo delle variabili e degli override della configurazione Airflow:
Il blocco
env_variables
nel bloccosoftware_config
specifica le variabili di ambiente.I nomi delle variabili possono contenere lettere maiuscole e minuscole, cifre e trattini bassi, ma non possono iniziare con una cifra.
Il blocco
airflow_config_overrides
nel bloccosoftware_config
specifica Override della configurazione Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
airflow_config_overrides = {
SECTION-KEY = "OVERRIDE_VALUE"
}
env_variables = {
VAR_NAME = "VAR_VALUE"
}
}
}
}
Sostituisci:
SECTION
con la sezione del file di configurazione in cui viene usato Airflow di configurazione.KEY
con il nome dell'opzione di configurazione Airflow.OVERRIDE_VALUE
con un valore dell'opzione di configurazione Airflow.VAR_NAME
con il nome della variabile di ambiente.VAR_VALUE
con il valore della variabile di ambiente.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
airflow_config_overrides = {
core-dags_are_paused_at_creation = "True"
webserver-dag_orientation = "TB"
}
env_variables = {
SENDGRID_MAIL_FROM = "user@example.com"
SENDGRID_API_KEY = "example-key"
}
}
}
}
Passaggio 11. (Facoltativo) Specifica i periodi di manutenzione
I periodi di manutenzione predefiniti di Cloud Composer 2 hanno inizio dalle 00:00:00 alle 04:00:00 (GMT) il venerdì, il sabato e la domenica ogni settimana.
Per specificare periodi di manutenzione personalizzati per il tuo ambiente:
Console
Nella pagina Crea ambiente
Individua la sezione Finestre di manutenzione.
Nell'elenco a discesa Fuso orario, scegli un fuso orario per le finestre di manutenzione.
Imposta Ora di inizio, Giorni e Durata, in modo che il tempo combinato per la programmazione specificata è di almeno 12 ore in un 7 giorni finestra temporale continua. Ad esempio, un periodo di 4 ore ogni lunedì, mercoledì e venerdì fornisce la durata richiesta.
gcloud
I seguenti argomenti definiscono i parametri dei periodi di manutenzione:
--maintenance-window-start
imposta l'ora di inizio di una manutenzione finestra.--maintenance-window-end
imposta l'ora di fine di un periodo di manutenzione.--maintenance-window-recurrence
set la ricorrenza del periodo di manutenzione.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.DATETIME_START
con data e ora di inizio nel formato di input di data/ora. Viene utilizzata solo l'ora specificata del giorno, mentre la data specificata viene ignorata.DATETIME_END
con la data e l'ora di fine nel formato di immissione della data/dell'ora. Viene utilizzata solo l'ora specificata del giorno, mentre la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.MAINTENANCE_RECURRENCE
con una RRULE RFC 5545 per la manutenzione la ricorrenza delle finestre. Cloud Composer supporta due formati:Il formato
FREQ=DAILY
specifica una ricorrenza giornaliera.Il formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
specifica una ripetizione in giorni della settimana selezionati.
L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di mercoledì, sabato e domenica. La data 1° gennaio 2023 viene ignorata.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
Quando crei un ambiente, Ambiente > Risorsa EnvironmentConfig, specifica parametri per i periodi di manutenzione:
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
}
}
}
Sostituisci:
DATETIME_START
con data e ora di inizio nel formato di input di data/ora. Solo il viene utilizzata l'ora del giorno specificata, la data specificata viene ignorata.DATETIME_END
con la data e l'ora di fine nel formato di immissione della data/dell'ora. Solo il viene utilizzata l'ora del giorno specificata, la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.MAINTENANCE_RECURRENCE
con una regola RRULE RFC 5545 per i periodi di manutenzione una ricorrenza. Cloud Composer supporta due formati:Il formato
FREQ=DAILY
specifica una ricorrenza giornaliera.Il formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
specifica una ripetizione in giorni della settimana selezionati.
L'esempio seguente specifica una periodo di manutenzione di 6 ore tra 01:00 e 07:00 (UTC) di mercoledì, sabato e domenica. 1° gennaio 2023 viene ignorata.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Terraform
Il blocco maintenance_window
specifica i periodi di manutenzione per il tuo
questo ambiente:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
}
}
Sostituisci:
DATETIME_START
con data e ora di inizio nel formato di input di data/ora. Solo il viene utilizzata l'ora del giorno specificata, la data specificata viene ignorata.DATETIME_END
con data e ora di fine nel formato di input di data/ora. Solo il viene utilizzata l'ora del giorno specificata, la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.MAINTENANCE_RECURRENCE
con una regola RRULE RFC 5545 per i periodi di manutenzione una ricorrenza. Cloud Composer supporta due formati:- Il formato
FREQ=DAILY
specifica una ricorrenza giornaliera. - Il formato
FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA
specifica una ripetizione in giorni della settimana selezionati.
- Il formato
L'esempio seguente specifica una periodo di manutenzione di 6 ore tra 01:00 e 07:00 (UTC) di mercoledì, sabato e domenica. 1° gennaio 2023 viene ignorata.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Passaggio 12: (Facoltativo) Integrazione della derivazione dei dati
La derivazione dei dati è una funzionalità di Dataplex che consente di monitorare lo spostamento dei dati.
L'integrazione della derivazione dei dati è disponibile nelle versioni 2.1.2 e successive di Cloud Composer 2 con le versioni 2.2.5 e successive di Airflow.L'integrazione della derivazione dei dati viene attivata automaticamente in un nuovo ambiente Cloud Composer se sono soddisfatte le seguenti condizioni:
L'API Data Lineage è abilitata nel progetto. Per ulteriori informazioni, vedi Abilita l'API Data Lineage in documentazione di Dataplex.
Un segmento di pubblico personalizzato Backend di derivazione non è configurato in Airflow.
Puoi disabilitare l'integrazione della derivazione dei dati quando crei un ambiente. Ad esempio, se vuoi ignorare il comportamento automatico o scegliere di attivare il report sulla cronologia dei dati in un secondo momento, dopo aver creato l'ambiente.
Console
Per disattivare l'integrazione della derivazione dei dati, nella pagina Crea ambiente:
Nella sezione Configurazione avanzata, espandi l'elemento Mostra configurazione avanzata.
Nella sezione Integrazione della derivazione dei dati Dataplex, seleziona Disabilita l'integrazione con la derivazione dei dati Dataplex.
gcloud
Quando crei un ambiente, l'argomento --disable-cloud-data-lineage-integration
disattiva l'integrazione della cronologia dei dati.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--disable-cloud-data-lineage-integration
Sostituisci:
ENVIRONMENT_NAME
con il nome dell'ambiente.LOCATION
con la regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--disable-cloud-data-lineage-integration
Passaggio 13: (Facoltativo) Configurare la crittografia dei dati (CMEK)
Per impostazione predefinita, i dati nel tuo ambiente vengono criptati con una chiave fornita da Google.
Per utilizzare le chiavi di crittografia gestite dal cliente (CMEK) per criptare i dati nel tuo seguire le istruzioni descritte in Utilizzo delle chiavi di crittografia gestite dal cliente.
Passaggio 14: (Facoltativo) Utilizza il bucket di un ambiente personalizzato
Quando crei un ambiente, Cloud Composer crea automaticamente un bucket per l'ambiente.
In alternativa, puoi specificare un bucket Cloud Storage personalizzato progetto. Il tuo ambiente usa questo bucket come avviene del bucket creato.
Per utilizzare un bucket di ambiente personalizzato, segui le istruzioni descritte in Utilizza il bucket di un ambiente personalizzato.
Passaggio 15: (Facoltativo) Specifica le etichette dell'ambiente
Puoi assegnare etichette ai tuoi ambienti per suddividere i costi di fatturazione in base a queste etichette.
Console
Nella sezione Etichette della pagina Crea ambiente:
Fai clic su Aggiungi etichetta.
Nei campi Chiave e Valore, specifica le coppie chiave-valore per le etichette dell'ambiente.
gcloud
Quando crei un ambiente, l'argomento --labels
specifica un elenco separato da virgole di chiavi e valori con etichette di ambiente.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-2.9.4-airflow-2.9.1 \
--labels LABELS
Sostituisci:
LABELS
con un elenco di coppieKEY=VALUE
separate da virgole per l'ambiente etichette.
Esempio:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-2.9.4-airflow-2.9.1 \
--labels owner=engineering-team,env=production
API
Quando crei un ambiente, nella risorsa Environment, specifica le etichette per l'ambiente.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"labels": {
"LABEL_KEY": "LABEL_VALUE"
}
}
Sostituisci:
LABEL_KEY
con una chiave dell'etichetta dell'ambiente.LABEL_VALUE
con un valore dell'etichetta dell'ambiente.
Esempio:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"labels": {
"owner": "engineering-team",
"env": "production"
}
}
Terraform
Quando crei un ambiente, specifica le etichette nel blocco labels
(
all'esterno del blocco config
).
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
labels = {
LABEL_KEY = "LABEL_VALUE"
}
}
Sostituisci:
LABEL_KEY
con una chiave dell'etichetta dell'ambiente.LABEL_VALUE
con un valore dell'etichetta dell'ambiente.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
labels = {
owner = "engineering-team"
env = "production"
}
}
Passaggi successivi
- Risolvere i problemi di creazione dell'ambiente
- Configurazione di un VPC condiviso
- Configurazione dei Controlli di servizio VPC
- Aggiunta e aggiornamento di DAG
- Accesso alla UI di Airflow
- Aggiornamento ed eliminazione di ambienti
- Informazioni sulle versioni di Cloud Composer