Creare ambienti Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come creare un ambiente Cloud Composer.

• Per saperne di più sugli ambienti, consulta Architettura degli ambienti.
• Per saperne di più sulla creazione di un ambiente con Terraform, consulta Crea ambienti (Terraform).

Prima di iniziare

• Abilita l'API Cloud Composer. Per l'elenco completo dei servizi utilizzati da Cloud Composer, consulta Servizi richiesti da Cloud Composer.

• Il tempo approssimativo per creare un ambiente è di 25 minuti.

• Se crei un ambiente con Terraform, il account di servizio utilizzato da Terraform deve avere un ruolo con l'autorizzazione composer.environments.create abilitata.

  Per saperne di più sul account di servizio per Terraform, consulta Guida di riferimento alla configurazione del provider Google.

  Per saperne di più sull'utilizzo di Terraform per creare un ambiente Cloud Composer, consulta la documentazione di Terraform.

  Per ulteriori informazioni sui parametri aggiuntivi, consulta la documentazione di riferimento sugli argomenti di Terraform.

• IP privato: esistono requisiti specifici per la rete e il peering per creare un ambiente IP privato. Per ulteriori informazioni, vedi Configurazione dell'IP privato.

• VPC condiviso: esistono requisiti di rete specifici per utilizzare VPC condiviso con Cloud Composer. Per informazioni, consulta la pagina Configurazione del VPC condiviso.

• VPC SC: per eseguire il deployment degli ambienti Cloud Composer all'interno di un perimetro di sicurezza, consulta Configurazione di VPC SC. Se utilizzati con Cloud Composer, i Controlli di servizio VPC presentano diverse limitazioni note.

• Potresti notare voci di metadati di Compute Engine per i cluster GKE che appartengono agli ambienti del tuo progetto. Durante la creazione e gli upgrade del cluster GKE, Google Kubernetes Engine aggiunge automaticamente voci di metadati a livello di progetto (google_compute_project_metadata) per monitorare l'utilizzo dell'intervallo di indirizzi IP secondari. Non modificare o rimuovere queste voci. Google Kubernetes Engine li gestisce automaticamente.

Importante: per i casi d'uso di produzione, ti consigliamo vivamente di utilizzare ambienti altamente resilienti. Il database Airflow del tuo ambiente è zonale. Durante un'interruzione a livello di zona, le attività Airflow eseguite nella zona interessata vengono interrotte e contrassegnate come non riuscite da Airflow. Gli ambienti a elevata resilienza sono più resilienti a questo problema, perché i loro database si trovano in due zone separate.

Passaggio 1: Crea o scegli il account di servizio di un ambiente

Quando crei un ambiente, specifichi un account di servizio. Questo service account è chiamato service account dell'ambiente. Il tuo ambiente utilizza questo account di servizio per eseguire la maggior parte delle operazioni.

Il account di servizio per il tuo ambiente non è un account utente. Un account di serviziot è un particolare tipo di account utilizzato da un'applicazione o da un'istanza di macchina virtuale (VM), non da una persona fisica.

Non puoi modificare il account di servizio del tuo ambiente in un secondo momento.

Avviso: il account di servizio del tuo ambiente può avere autorizzazioni troppo ampie sul tuo progetto. Poiché il tuo ambiente esegue i DAG per conto dell'account di servizio dell'ambiente, gli utenti che possono aggiungere e modificare i DAG nel bucket dell'ambiente o modificare i repository Artifact Registry nel tuo progetto possono eseguire il proprio codice per conto dell'account di servizio dell'ambiente ed esercitare tutte le autorizzazioni di questo account. Assicurati di conoscere le considerazioni sulla sicurezza per i service account dell'ambiente e di capire come questo account interagisce con le autorizzazioni e i ruoli che concedi ai singoli utenti del tuo progetto.

Se non hai ancora un account di servizio per gli ambienti Cloud Composer nel tuo progetto, crealo.

Consulta Creare ambienti (Terraform) per un esempio esteso di creazione di un account di servizio per il tuo ambiente in Terraform.

Importante: puoi utilizzare lo stesso account di servizio per più di un ambiente Cloud Composer. In questo caso, se concedi a questo account autorizzazioni aggiuntive per accedere alle risorse nel tuo progetto, tutti gli ambienti che lo utilizzano avranno le stesse autorizzazioni.

Per creare un nuovo account di servizio per il tuo ambiente:

1. Crea un nuovo service account come descritto nella documentazione di Identity and Access Management.

2. Assegna un ruolo, come descritto nella documentazione di Identity and Access Management. Il ruolo richiesto è Worker Composer (composer.worker).

3. Se il tuo ambiente utilizza limitazioni della località delle risorse, o installa pacchetti PyPI da un repository Artifact Registry o da un repository privato, concedi il ruolo Utente service account (iam.serviceAccountUser) al service account gestito dall'utente che esegue il tuo ambiente su se stesso (sia l'entità che la risorsa sono lo stesso account di servizio).

4. Per accedere ad altre risorse nel tuo progetto Google Cloud , concedi autorizzazioni aggiuntive per accedere a queste risorse a questo account di servizio. Il ruolo Worker Composer (composer.worker) fornisce questo insieme di autorizzazioni richiesto nella maggior parte dei casi. Aggiungi autorizzazioni aggiuntive a questo service account solo quando è necessario per il funzionamento dei tuoi DAG.

Deprecazione imminente: anche se sconsigliamo di utilizzare questo approccio, se non specifichi un service account dell'ambiente in Google Cloud CLI, Terraform o API, l'ambiente Cloud Composer utilizza l'account di servizio predefinito di Compute Engine. A partire dal 13 aprile 2025, i nuovi ambienti Cloud Composer non utilizzeranno più il account di servizio Compute Engine per impostazione predefinita. Sarà necessario un account di servizio specificato in modo esplicito. Assicurati che sia specificato negli script e in altri strumenti di automazione e gestione della configurazione. Per ulteriori informazioni su questa modifica, consulta le note di rilascio.

Passaggio 2: Impostazione di base

Questo passaggio crea un ambiente Cloud Composer con parametri predefiniti nella posizione specificata.

Nota: tutti gli altri passaggi di questa guida spiegano come personalizzare e configurare diversi aspetti del tuo ambiente. Tutti i passaggi rimanenti sono facoltativi.

Console

1. Nella console Google Cloud , vai alla pagina Crea ambiente.

   Vai a Crea ambiente

2. Nel campo Nome, inserisci un nome per l'ambiente.

   Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, pertanto devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket per un elenco di limitazioni.

3. Nell'elenco a discesa Località, scegli una località per il tuo ambiente.

   Una località è la regione in cui si trova l'ambiente.

4. Nell'elenco a discesa Versione immagine, seleziona un'immagine Cloud Composer con la versione richiesta di Airflow.

5. Nell'elenco a discesa Service account, seleziona un account di servizio per il tuo ambiente.

   Se non hai ancora un service account per il tuo ambiente, vedi Creare o scegliere un service account per l'ambiente.

gcloud

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version IMAGE_VERSION \
    --service-account "SERVICE_ACCOUNT"

Importante: Stiamo implementando gradualmente una modifica che cambia la versione predefinita da Cloud Composer 2 a Cloud Composer 3. In alcune regioni, se non specifichi una versione dell'immagine, viene creato un ambiente Cloud Composer 3. Per ulteriori informazioni sull'implementazione di questa modifica, consulta le note di rilascio. Per risolvere questo problema, ti consigliamo di specificare esplicitamente una versione dell'immagine per Cloud Composer 2.

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.

  Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, pertanto devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket per un elenco di limitazioni.

• LOCATION con la regione per l'ambiente.

  Una località è la regione in cui si trova l'ambiente.

• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.

• IMAGE_VERSION: il nome di un'immagine di Cloud Composer.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
"

API

Crea una richiesta API environments.create. Specifica la configurazione nella risorsa Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "IMAGE_VERSION"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Importante: Stiamo implementando gradualmente una modifica che cambia la versione predefinita da Cloud Composer 2 a Cloud Composer 3. In alcune regioni, se non specifichi una versione dell'immagine, viene creato un ambiente Cloud Composer 3. Per ulteriori informazioni sull'implementazione di questa modifica, consulta le note di rilascio. Per risolvere questo problema, ti consigliamo di specificare esplicitamente una versione dell'immagine per Cloud Composer 2.

Sostituisci:

• PROJECT_ID con l'ID progetto.

• LOCATION con la regione per l'ambiente.

  Una località è la regione in cui si trova l'ambiente.

• ENVIRONMENT_NAME con il nome dell'ambiente.

  Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, pertanto devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket per un elenco di limitazioni.

• IMAGE_VERSION: il nome di un'immagine di Cloud Composer.

• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-2.13.9-airflow-2.10.5"
    },
    "nodeConfig": {
      "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Per creare un ambiente con parametri predefiniti in una posizione specificata, aggiungi il seguente blocco di risorse alla configurazione Terraform ed esegui terraform apply.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "IMAGE_VERSION"
    }
    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Importante: Stiamo implementando gradualmente una modifica che cambia la versione predefinita da Cloud Composer 2 a Cloud Composer 3. In alcune regioni, se non specifichi una versione dell'immagine, viene creato un ambiente Cloud Composer 3. Per ulteriori informazioni sull'implementazione di questa modifica, consulta le note di rilascio. Per risolvere questo problema, ti consigliamo di specificare esplicitamente una versione dell'immagine per Cloud Composer 2.

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.

  Il nome deve iniziare con una lettera minuscola seguita da un massimo di 62 lettere minuscole, numeri o trattini e non può terminare con un trattino. Il nome dell'ambiente viene utilizzato per creare i sottocomponenti dell'ambiente, pertanto devi fornire un nome valido anche come nome del bucket Cloud Storage. Consulta le linee guida per la denominazione dei bucket per un elenco di limitazioni.

• LOCATION con la regione per l'ambiente.

  Una località è la regione in cui si trova l'ambiente.

• IMAGE_VERSION: il nome di un'immagine di Cloud Composer.

• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.13.9-airflow-2.10.5"
    }
    node_config {
      service_account = "
[e-mail]
"
    }
  }
}

Passaggio 3: Concedi le autorizzazioni necessarie al service account di Cloud Composer

Quando abiliti l'API Cloud Composer nel tuo progetto, viene creato l'account agente di servizio Composer nel tuo progetto. Cloud Composer utilizza questo account per eseguire operazioni nel tuo progettoGoogle Cloud .

Il ruolo Estensione agente di servizio API Cloud Composer v2 fornisce autorizzazioni aggiuntive all'account dell'agente di servizio Cloud Composer. Questo ruolo non viene concesso automaticamente. Devi concederlo manualmente.

Avviso: dopo aver concesso queste autorizzazioni, l'account dell'agente di servizio Composer può modificare la policy IAM del service account del tuo ambiente. Per saperne di più sulle autorizzazioni aggiuntive, consulta Concedere ruoli all'account dell'agente di servizio Cloud Composer.

Console

Quando crei un ambiente nel tuo progetto, se l'agente di servizio Cloud Composer non dispone delle autorizzazioni richieste per il account di servizio dell'ambiente, viene visualizzata una sezione Concedi le autorizzazioni necessarie al service account di Cloud Composer.

Aggiungi l'account di servizio Cloud Composer come nuova entità nel service account del tuo ambiente e concedigli il ruolo Estensione agente di servizio API Cloud Composer v2.

Verifica di utilizzare il account di servizio previsto per il tuo ambiente e fai clic su Concedi.

gcloud

Aggiungi l'account di servizio Cloud Composer come nuova entità nel service account del tuo ambiente e concedigli il ruolo Estensione agente di servizio API Cloud Composer v2.

gcloud iam service-accounts add-iam-policy-binding \
    SERVICE_ACCOUNT \
    --member serviceAccount:[e-mail] \
    --role roles/composer.ServiceAgentV2Ext

Sostituisci:

• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.
• PROJECT_NUMBER con il numero di progetto.

Esempio:

gcloud iam service-accounts add-iam-policy-binding \
    [e-mail] \
    --member serviceAccount:[e-mail] \
    --role roles/composer.ServiceAgentV2Ext

API

Per concedere il ruolo, devi modificare il criterio di autorizzazione esistente utilizzando il pattern di lettura, modifica e scrittura:

1. Leggi la policy di autorizzazione esistente per il account di servizio del tuo ambiente.
2. Modificalo in modo da includere il ruolo roles/composer.ServiceAgentV2Ext per l'agente di servizio Cloud Composer.
3. Riscrivi la policy di autorizzazione esistente.

Per saperne di più, vedi Controllare l'accesso a livello di programmazione.

{
  "role": "roles/composer.ServiceAgentV2Ext",
  "members": [
    "serviceAccount:[e-mail]"
  ]
}

Sostituisci:

• PROJECT_NUMBER con il numero di progetto.

Esempio:

{
  "role": "roles/composer.ServiceAgentV2Ext",
  "members": [
    "serviceAccount:[e-mail]"
  ]
}

Terraform

Aggiungi una nuova associazione di ruoli al criterio di autorizzazione del account di servizio del tuo ambiente.

Aggiungi l'account di servizio Cloud Composer come nuova entità nel service account del tuo ambiente e concedigli il ruolo Estensione agente di servizio API Cloud Composer v2.

Se non utilizzi Terraform per definire la policy di autorizzazione del account di servizio del tuo ambiente, non utilizzare l'esempio seguente. Aggiungi invece questo binding utilizzando altri metodi.

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = "SERVICE_ACCOUNT"
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

Sostituisci:

• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.
• PROJECT_NUMBER con il numero di progetto.

Esempio:

resource "google_service_account_iam_member" "custom_service_account" {
  provider = google-beta
  service_account_id = "[e-mail]"
  role = "roles/composer.ServiceAgentV2Ext"
  member = "serviceAccount:[e-mail]"
}

Passaggio 4: (Facoltativo) Configurare i parametri di scalabilità e rendimento dell'ambiente

Per specificare la configurazione di scalabilità e prestazioni per il tuo ambiente, seleziona le dimensioni dell'ambiente e la configurazione dei carichi di lavoro.

Puoi modificare tutti i parametri di prestazioni e scalabilità dopo aver creato un ambiente.

I seguenti parametri controllano la scalabilità e il rendimento:

• Dimensioni dell'ambiente. Controlla i parametri di rendimento dell'infrastruttura Cloud Composer gestita che include il database Airflow. Se hai intenzione di eseguire un numero elevato di DAG e attività con un rendimento dell'infrastruttura superiore, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente. Ad esempio, le dimensioni maggiori dell'ambiente aumentano la quantità di voci di log delle attività Airflow che l'ambiente può elaborare con un ritardo minimo.

• Configurazione dei workload. Controlla la scalabilità e le prestazioni dei componenti di Airflow in esecuzione in un cluster GKE del tuo ambiente.

  • Scheduler di Airflow. Analizza i file di definizione DAG, pianifica le esecuzioni dei DAG in base all'intervallo pianificato e accoda le attività per l'esecuzione da parte dei worker di Airflow.

    Il tuo ambiente può eseguire più di uno scheduler Airflow contemporaneamente. Utilizza più scheduler per distribuire il carico tra diverse istanze dello scheduler in modo da migliorare i livelli di prestazioni e affidabilità.

    L'aumento del numero di scheduler non sempre migliora le prestazioni di Airflow. Ad esempio, avere un solo scheduler potrebbe fornire prestazioni migliori rispetto ad averne due. Ciò può accadere quando lo scheduler aggiuntivo non viene utilizzato e quindi consuma risorse del tuo ambiente senza contribuire al rendimento complessivo. Le prestazioni effettive dello scheduler dipendono dal numero di worker Airflow, dal numero di DAG e attività eseguiti nel tuo ambiente e dalla configurazione di Airflow e dell'ambiente.

    Ti consigliamo di iniziare con due scheduler e poi monitorare il rendimento del tuo ambiente. Se modifichi il numero di scheduler, puoi sempre scalare l'ambiente al numero originale di scheduler.

    Per saperne di più sulla configurazione di più scheduler, consulta la documentazione di Airflow.

  • Attivatore del flusso d'aria. Monitora in modo asincrono tutte le attività differite nel tuo ambiente. Se hai almeno un'istanza di attivatore nel tuo ambiente (o almeno due in ambienti a elevata resilienza), puoi utilizzare operatori decriptabili nei tuoi DAG.

    In Cloud Composer 2, il trigger di Airflow è disattivato per impostazione predefinita. Se vuoi creare un ambiente con un attivatore, imposta il numero di attivatori su uno o più.

  • Server web Airflow. Esegue l'interfaccia web di Airflow, che consente di monitorare, gestire e visualizzare i tuoi DAG.

  • Worker di Airflow. Esegui le attività pianificate dagli scheduler di Airflow. Il numero minimo e massimo di worker nel tuo ambiente cambia in modo dinamico a seconda del numero di attività in coda.

Nota: quando configuri i limiti delle risorse per i componenti Airflow, assicurati che i limiti superino i requisiti minimi delle risorse per il tuo scenario di utilizzo. I container sidecar che vengono eseguiti insieme al container del componente Airflow principale utilizzano alcune delle risorse allocate.

Console

Puoi selezionare una preimpostazione per il tuo ambiente. Quando selezioni una preimpostazione, vengono selezionati automaticamente i parametri di scala e rendimento per quella preimpostazione. Hai anche la possibilità di selezionare un preset personalizzato e specificare tutti i parametri di scalabilità e rendimento per il tuo ambiente.

Per selezionare la configurazione di scalabilità e prestazioni per il tuo ambiente, nella pagina Crea ambiente:

• Per utilizzare i valori predefiniti, nella sezione Risorse dell'ambiente, fai clic su Piccola, Media o Grande.

• Per specificare valori personalizzati per i parametri di scala e rendimento:

  1. Nella sezione Risorse dell'ambiente, fai clic su Personalizzato.

  2. Nella sezione Scheduler, imposta il numero di scheduler che vuoi utilizzare e l'allocazione delle risorse per CPU, memoria e spazio di archiviazione.

  3. Nella sezione Triggerer, utilizza il campo Numero di triggerer per inserire il numero di triggerer nel tuo ambiente.

     Se non vuoi utilizzare operatori differibili nei tuoi DAG, imposta il numero di attivatori su zero. Per impostazione predefinita, il trigger è disabilitato in Cloud Composer 2.

     Se imposti almeno un trigger per il tuo ambiente, utilizza i campi CPU e Memoria per configurare l'allocazione delle risorse per i trigger.

  4. Nella sezione Processore DAG, specifica il numero di processori DAG nel tuo ambiente e la quantità di CPU, memoria e spazio di archiviazione per ogni processore DAG.

     Gli ambienti a elevata resilienza richiedono almeno due processori DAG.

  5. Nella sezione Web server, specifica la quantità di CPU, memoria e spazio di archiviazione per il web server.

  6. Nella sezione Worker, specifica:

     • Il numero minimo e massimo di worker per i limiti di scalabilità automatica nel tuo ambiente.
     • L'allocazione di CPU, memoria e spazio di archiviazione per i worker

  7. Nella sezione Infrastruttura di base, seleziona le dimensioni dell'ambiente nell'elenco a discesa Dimensioni ambiente.

gcloud

Quando crei un ambiente, i seguenti argomenti controllano i parametri di scalabilità e rendimento dell'ambiente.

Nota: se ometti un argomento, Cloud Composer utilizza il valore predefinito.

• --environment-size specifica le dimensioni dell'ambiente.
• --scheduler-count specifica il numero di scheduler.
• --scheduler-cpu specifica il numero di CPU per uno scheduler Airflow.
• --scheduler-memory specifica la quantità di memoria per uno scheduler Airflow.

• --scheduler-storage specifica la quantità di spazio su disco per uno scheduler Airflow.

• --triggerer-count specifica il numero di triggerer Airflow nel tuo ambiente. Il valore predefinito di questo flag è 0. Hai bisogno di attivatori se vuoi utilizzare operatori differibili nei tuoi DAG.

  • Per gli ambienti di resilienza standard, utilizza un valore compreso tra 0 e 10.
  • Per ambienti altamente resilienti, utilizza 0 o un valore compreso tra 2 e 10.

• --triggerer-cpu specifica il numero di CPU per un trigger di Airflow, in unità vCPU. Valori consentiti: 0.5, 0.75, 1. Il valore predefinito è 0.5.

• --triggerer-memory specifica la quantità di memoria per un trigger Airflow, in GB. Il valore predefinito è 0.5.

  La memoria minima richiesta è uguale al numero di CPU allocate per gli attivatori. Il valore massimo consentito è pari al numero di CPU del trigger moltiplicato per 6,5.

  Ad esempio, se imposti il flag --triggerer-cpu su 1, il valore minimo per --triggerer-memory è 1 e il valore massimo è 6.5.

• --web-server-cpu specifica il numero di CPU per il server web Airflow.

• --web-server-memory specifica la quantità di memoria per il server web Airflow.

• --web-server-storage specifica la quantità di spazio su disco per il server web Airflow.

• --worker-cpu specifica il numero di CPU per un worker Airflow.

• --worker-memory specifica la quantità di memoria per un worker Airflow.

• --worker-storage specifica la quantità di spazio su disco per un worker Airflow.

• --min-workers specifica il numero minimo di worker Airflow. Il cluster del tuo ambiente esegue almeno questo numero di worker.

• --max-workers specifica il numero massimo di worker Airflow. Il cluster del tuo ambiente esegue al massimo questo numero di worker.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --environment-size ENVIRONMENT_SIZE \
    --scheduler-count SCHEDULER_COUNT \
    --scheduler-cpu SCHEDULER_CPU \
    --scheduler-memory SCHEDULER_MEMORY \
    --scheduler-storage SCHEDULER_STORAGE \
    --triggerer-count TRIGGERER_COUNT \
    --triggerer-cpu TRIGGERER_CPU \
    --triggerer-memory TRIGGERER_MEMORY \
    --web-server-cpu WEB_SERVER_CPU \
    --web-server-memory WEB_SERVER_MEMORY \
    --web-server-storage WEB_SERVER_STORAGE \
    --worker-cpu WORKER_CPU \
    --worker-memory WORKER_MEMORY \
    --worker-storage WORKER_STORAGE \
    --min-workers WORKERS_MIN \
    --max-workers WORKERS_MAX

Sostituisci:

• ENVIRONMENT_SIZE con small, medium o large.
• SCHEDULER_COUNT con il numero di scheduler.
• SCHEDULER_CPU con il numero di CPU per uno scheduler, in unità vCPU.
• SCHEDULER_MEMORY con la quantità di memoria per uno scheduler.
• SCHEDULER_STORAGE con le dimensioni del disco per uno scheduler.
• TRIGGERER_COUNT con il numero di triggerer.
• TRIGGERER_CPU con il numero di CPU per un trigger, in unità vCPU.

• TRIGGERER_MEMORY con la quantità di memoria per un triggerer, in GB.

• WEB_SERVER_CPU con il numero di CPU per il server web, in unità vCPU.

• WEB_SERVER_MEMORY con la quantità di memoria per il server web.

• WEB_SERVER_STORAGE con la quantità di memoria per il server web.

• WORKER_CPU con il numero di CPU per un worker, in unità vCPU.

• WORKER_MEMORY con la quantità di memoria per un worker.

• WORKER_STORAGE con la dimensione del disco per un worker.

• WORKERS_MIN con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se un numero inferiore di worker può gestire il carico.

• WORKERS_MAX con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se è necessario un numero maggiore di worker per gestire il carico.

Nota: il valore specificato per la memoria e lo spazio su disco deve essere un numero intero seguito da un'unità di misura delle dimensioni KB per kilobyte, MB per megabyte o GB per gigabyte. L'unità di misura predefinita è GB. Ad esempio, 10GB produce uno spazio di archiviazione di 10 gigabyte.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --environment-size small \
    --scheduler-count 1 \
    --scheduler-cpu 0.5 \
    --scheduler-memory 2.5GB \
    --scheduler-storage 2GB \
    --triggerer-count 1 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5GB \
    --web-server-cpu 1 \
    --web-server-memory 2.5GB \
    --web-server-storage 2GB \
    --worker-cpu 1 \
    --worker-memory 2GB \
    --worker-storage 2GB \
    --min-workers 2 \
    --max-workers 4

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig > WorkloadsConfig, specifica i parametri di scalabilità e prestazioni dell'ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": SCHEDULER_CPU,
        "memoryGb": SCHEDULER_MEMORY,
        "storageGb": SCHEDULER_STORAGE,
        "count": SCHEDULER_COUNT
      },
      "triggerer": {
        "count": TRIGGERER_COUNT,
        "cpu": TRIGGERER_CPU,
        "memoryGb": TRIGGERER_MEMORY
      },
      "webServer": {
        "cpu": WEB_SERVER_CPU,
        "memoryGb": WEB_SERVER_MEMORY,
        "storageGb": WEB_SERVER_STORAGE
      },
      "worker": {
        "cpu": WORKER_CPU,
        "memoryGb": WORKER_MEMORY,
        "storageGb": WORKER_STORAGE,
        "minCount": WORKERS_MIN,
        "maxCount": WORKERS_MAX
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE",
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• SCHEDULER_CPU con il numero di CPU per uno scheduler, in unità vCPU.
• SCHEDULER_MEMORY con la quantità di memoria per uno scheduler, in GB.
• SCHEDULER_STORAGE con le dimensioni del disco per uno scheduler, in GB.

• SCHEDULER_COUNT con il numero di scheduler.

• TRIGGERER_COUNT con il numero di triggerer. Il valore predefinito è 0. Hai bisogno di attivatori se vuoi utilizzare operatori differibili nei tuoi DAG.

  • Per gli ambienti di resilienza standard, utilizza un valore compreso tra 0 e 10.
  • Per ambienti altamente resilienti, utilizza 0 o un valore compreso tra 2 e 10.

  Se utilizzi almeno un trigger, devi specificare anche i parametri TRIGGERER_CPU e TRIGGERER_MEMORY:

• TRIGGERER_CPU specifica il numero di CPU per un trigger, in unità vCPU. Valori consentiti: 0.5, 0.75, 1.

• TRIGGERER_MEMORY configura la quantità di memoria per un trigger. La memoria minima richiesta è uguale al numero di CPU allocate per i trigger. Il valore massimo consentito è pari al numero di CPU del trigger moltiplicato per 6,5.

  Ad esempio, se imposti TRIGGERER_CPU su 1, il valore minimo per TRIGGERER_MEMORY è 1 e il valore massimo è 6.5.

• WEB_SERVER_CPU con il numero di CPU per il server web, in unità vCPU.

• WEB_SERVER_MEMORY con la quantità di memoria per il server web, in GB.

• WEB_SERVER_STORAGE con le dimensioni del disco per il server web, in GB.

• WORKER_CPU con il numero di CPU per un worker, in unità vCPU.

• WORKER_MEMORY con la quantità di memoria per un worker, in GB.

• WORKER_STORAGE con le dimensioni del disco per un worker, in GB.

• WORKERS_MIN con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se un numero inferiore di worker può gestire il carico.

• WORKERS_MAX con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se è necessario un numero maggiore di worker per gestire il carico.

• ENVIRONMENT_SIZE con le dimensioni dell'ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "workloadsConfig": {
      "scheduler": {
        "cpu": 2.5,
        "memoryGb": 2.5,
        "storageGb": 2,
        "count": 1
      },
      "triggerer": {
        "cpu": 0.5,
        "memoryGb": 0.5,
        "count": 1
      },
      "webServer": {
        "cpu": 1,
        "memoryGb": 2.5,
        "storageGb": 2
      },
      "worker": {
        "cpu": 1,
        "memoryGb": 2,
        "storageGb": 2,
        "minCount": 2,
        "maxCount": 4
      }
    },
    "environmentSize": "ENVIRONMENT_SIZE_SMALL",
    "nodeConfig": {
      "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Quando crei un ambiente, i seguenti argomenti controllano i parametri di scalabilità e rendimento dell'ambiente.

• Nel blocco config:

  • Il campo environment_size controlla le dimensioni dell'ambiente.

• Nel blocco workloads_config:

  • Il campo scheduler.cpu specifica il numero di CPU per uno scheduler Airflow.
  • Il campo scheduler.memory_gb specifica la quantità di memoria per uno scheduler Airflow.
  • Il campo scheduler.storage_gb specifica la quantità di spazio su disco per uno scheduler.
  • Il campo scheduler.count specifica il numero di scheduler nel tuo ambiente.
  • Il campo triggerer.cpu specifica il numero di CPU per un trigger di Airflow.
  • Il campo triggerer.memory_gb specifica la quantità di memoria per un triggerer Airflow.

  • Il campo triggerer.count specifica il numero di triggerer nel tuo ambiente.

  • Il campo web_server.cpu specifica il numero di CPU per il server web di Airflow.

  • Il campo web_server.memory_gb specifica la quantità di memoria per il server web Airflow.

  • Il campo web_server.storage_gb specifica la quantità di spazio su disco per il server web Airflow.

  • Il campo worker.cpu specifica il numero di CPU per un worker Airflow.

  • Il campo worker.memory_gb specifica la quantità di memoria per un worker Airflow.

  • Il campo worker.storage_gb specifica la quantità di spazio su disco per un worker Airflow.

  • Il campo worker.min_count specifica il numero minimo di worker nel tuo ambiente.

  • Il campo worker.max_count specifica il numero massimo di worker nel tuo ambiente.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {

      scheduler {
        cpu = SCHEDULER_CPU
        memory_gb = SCHEDULER_MEMORY
        storage_gb = SCHEDULER_STORAGE
        count = SCHEDULER_COUNT
      }
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
      worker {
        cpu = WORKER_CPU
        memory_gb = WORKER_MEMORY
        storage_gb = WORKER_STORAGE
        min_count = WORKERS_MIN
        max_count = WORKERS_MAX
      }
    }

    environment_size = "ENVIRONMENT_SIZE"

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.
• SERVICE_ACCOUNT con il account di servizio per il tuo ambiente.
• SCHEDULER_CPU con il numero di CPU per uno scheduler, in unità vCPU.
• SCHEDULER_MEMORY con la quantità di memoria per uno scheduler, in GB.
• SCHEDULER_STORAGE con le dimensioni del disco per uno scheduler, in GB.
• SCHEDULER_COUNT con il numero di scheduler.
• TRIGGERER_COUNT con il numero di triggerer.
• TRIGGERER_CPU con il numero di CPU per un trigger, in unità vCPU.

• TRIGGERER_MEMORY con la quantità di memoria per un triggerer, in GB.

• WEB_SERVER_CPU con il numero di CPU per il server web, in unità vCPU.

• WEB_SERVER_MEMORY con la quantità di memoria per il server web, in GB.

• WEB_SERVER_STORAGE con le dimensioni del disco per il server web, in GB.

• WORKER_CPU con il numero di CPU per un worker, in unità vCPU.

• WORKER_MEMORY con la quantità di memoria per un worker, in GB.

• WORKER_STORAGE con le dimensioni del disco per un worker, in GB.

• WORKERS_MIN con il numero minimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se un numero inferiore di worker può gestire il carico.

• WORKERS_MAX con il numero massimo di worker Airflow che il tuo ambiente può eseguire. Il numero di worker nel tuo ambiente non supera questo numero, anche se è necessario un numero maggiore di worker per gestire il carico.

• ENVIRONMENT_SIZE con le dimensioni dell'ambiente, ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM o ENVIRONMENT_SIZE_LARGE.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {

      scheduler {
        cpu = 2.5
        memory_gb = 2.5
        storage_gb = 2
        count = 1
      }
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
      dag_processor {
        cpu = 1
        memory_gb = 2
        storage_gb = 1
        count = 1
    }
      web_server {
        cpu = 1
        memory_gb = 2.5
        storage_gb = 2
      }
      worker {
        cpu = 1
        memory_gb = 2
        storage_gb = 2
        min_count = 2
        max_count = 4
      }
    }

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    node_config {
      service_account = "
[e-mail]
"
    }

  }
}

Passaggio 5: (Facoltativo) Attiva la modalità ad alta resilienza

A resilienza elevata (ad alta disponibilità) Gli ambienti Cloud Composer sono ambienti che utilizzano meccanismi di ridondanza e failover integrati che riducono la suscettibilità dell'ambiente a errori a livello di zona e interruzioni dovute a single point of failure.

Un ambiente a elevata resilienza è multizona e viene eseguito in almeno due zone di una regione selezionata. I seguenti componenti vengono eseguiti in zone separate:

• Esattamente due scheduler Airflow

• Almeno due triggerer (se il numero di triggerer non è impostato su 0)

• Due server web

Il numero minimo di worker è impostato su due e il cluster del tuo ambiente distribuisce le istanze worker tra le zone. In caso di interruzione del servizio a livello di zona, le istanze di lavoro interessate vengono riprogrammate in una zona diversa. Il componente Cloud SQL di un ambiente a elevata resilienza ha un'istanza principale e un'istanza di standby distribuite tra le zone.

Importante: in Cloud Composer 2, gli ambienti a resilienza elevata sono disponibili solo per gli ambienti con IP privato.

Console

Nella pagina Crea ambiente:

1. Nella sezione Modalità di resilienza, seleziona Resilienza elevata.

2. Nella sezione Risorse ambiente, seleziona i parametri di scalabilità per un ambiente a elevata resilienza. Gli ambienti a resilienza elevata richiedono esattamente due scheduler, zero o un numero compreso tra due e dieci trigger e almeno due worker:

   1. Fai clic su Custom (Personalizzate).

   2. Nell'elenco a discesa Numero di scheduler, seleziona 2.

   3. Nell'elenco a discesa Numero di attivatori, seleziona 0 o un valore compreso tra 2 e 10. Configura l'allocazione di CPU e memoria per i trigger.

   4. Nell'elenco a discesa Numero minimo di worker, seleziona 2 o un valore superiore, a seconda del numero di worker richiesto.

3. Nella sezione Configurazione di rete:

   1. In Tipo di networking, seleziona Ambiente IP privato.

   2. Se necessario, specifica altri parametri di rete.

gcloud

Quando crei un ambiente, l'argomento --enable-high-resilience attiva la modalità ad alta resilienza.

Imposta i seguenti argomenti:

• --enable-high-resilience
• --enable-private-environment e altri parametri di networking per un ambiente IP privato, se necessario
• Da --scheduler-count a 2

• --triggerer-count-0 o un valore compreso tra 2 e 10. Se utilizzi gli attivatori, sono necessari anche i flag --triggerer-cpu and--triggerer-memory` per la creazione dell'ambiente.

  Per ulteriori informazioni sui flag --triggerer-count, --triggerer-cpu e --triggerer-memory, consulta Configurare i parametri di scalabilità e prestazioni dell'ambiente.

• Da --min-workers a 2 o più

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --enable-high-resilience \
    --enable-private-environment \
    --scheduler-count 2 \
    --triggerer-count 2 \
    --triggerer-cpu 0.5 \
    --triggerer-memory 0.5 \
    --min-workers 2

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, attiva la modalità ad alta resilienza.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE",
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }

  }
}

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "resilience_mode": "HIGH_RESILIENCE",
    "nodeConfig": {
      "serviceAccount": "
[e-mail]
"
    }

  }
}

Terraform

Nota: un aggiornamento del campo della modalità di resilienza causa un errore anziché la ricreazione dell'ambiente Cloud Composer.

Quando crei un ambiente, il campo resilience_mode nel blocco config attiva la modalità di resilienza elevata.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }

  }
}

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

    node_config {
      service_account = "
[e-mail]
"
    }
  }
}

Passaggio 6: (Facoltativo) Specifica una zona per il database dell'ambiente

Puoi specificare una zona Cloud SQL preferita quando crei un ambiente di resilienza standard.

Nota: se il tuo ambiente utilizza la modalità di resilienza elevata, non puoi specificare una zona per il database. Cloud Composer seleziona automaticamente due zone nella regione in cui si trova l'ambiente. Se attivi l'alta resilienza per un ambiente esistente con la zona Cloud SQL preferita, la configurazione della zona preferita viene rimossa e due zone vengono selezionate automaticamente.

Console

Nella pagina Crea ambiente:

1. Nella sezione Configurazione avanzata, espandi l'elemento Mostra configurazione avanzata.

2. Nell'elenco Zona del database Airflow, seleziona una zona Cloud SQL preferita.

gcloud

Quando crei un ambiente, l'argomento --cloud-sql-preferred-zone specifica una zona Cloud SQL preferita.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --cloud-sql-preferred-zone SQL_ZONE

Sostituisci quanto segue:

• SQL_ZONE: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --cloud-sql-preferred-zone us-central1-a

API

Quando crei un ambiente, nella risorsa Environment > DatabaseConfig, specifica la zona Cloud SQL preferita.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "databaseConfig": {
      "zone": "SQL_ZONE"
    },
      "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci quanto segue:

• SQL_ZONE: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "databaseConfig": {
      "zone": "us-central1-a"
    },
    "nodeConfig": {
      "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Quando crei un ambiente, il campo zone nel blocco database_config specifica la zona Cloud SQL preferita.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    database_config {
      zone = "SQL_ZONE"
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci quanto segue:

• SQL_ZONE: zona Cloud SQL preferita. Questa zona deve trovarsi nella regione in cui si trova l'ambiente.

Passaggio 7. (Facoltativo) Configura il networking del tuo ambiente

I parametri di Networking dipendono dal tipo di ambiente che vuoi creare:

• Ambiente IP pubblico. Utilizza i parametri di rete predefiniti.

• Ambiente IP privato (con PSC). In questa configurazione, il tuo ambiente utilizza Private Service Connect per la connettività.

  Configura l'ambiente IP privato:

  1. Configura il networking del tuo progetto per gli ambienti IP privati.
  2. Configura Private Service Connect quando crei l'ambiente.
  3. Specifica altri parametri per l'ambiente IP privato, come descritto più avanti in questa sezione.

  Per un ambiente IP privato con PSC, devi sapere:

  • L'ID rete VPC
  • ID subnet VPC

  • Due intervalli IP secondari nella subnet VPC:

    • Intervallo IP secondario per i pod
    • Intervallo IP secondario per i servizi

  • Intervalli IP per i componenti dell'ambiente:

    • Intervallo IP del control plane GKE. Intervallo IP per il control plane GKE.
    • Subnet di connessione di Cloud Composer. Intervallo IP per la subnet di connessione Cloud Composer.

• Ambiente IP privato (peering VPC). In questa configurazione, il tuo ambiente utilizza i peering VPC per la connettività.

  Configura l'ambiente IP privato:

  1. Configura il networking del tuo progetto per gli ambienti IP privati.
  2. Specifica altri parametri per l'ambiente IP privato, come descritto più avanti in questa sezione.

  Per un ambiente IP privato con peering VPC, devi sapere:

  • L'ID rete VPC
  • ID subnet VPC

  • Due intervalli IP secondari nella subnet VPC:

    • Intervallo IP secondario per i pod
    • Intervallo IP secondario per i servizi

  • Intervalli IP per i componenti dell'ambiente:

    • Intervallo IP per il control plane GKE.

    • Intervallo IP per il peering VPC da esportare dalla rete Cloud Composer interna alla rete selezionata. I componenti dell'infrastruttura Cloud Composer utilizzano gli indirizzi IP di questo intervallo.

    • Intervallo IP per l'istanza Cloud SQL.

• Per un ambiente VPC condiviso, devi eseguire una configurazione di rete aggiuntiva per il progetto host, quindi creare un ambiente IP pubblico o privato in un progetto di servizio. Segui le istruzioni riportate nella pagina Configurazione del VPC condiviso.

  Importante: se crei un ambiente nel progetto di servizio utilizzando la consoleGoogle Cloud , il tuo account deve disporre dell'autorizzazione compute.subnetworks.use nel progetto host. In caso contrario, l'elenco delle subnet disponibili non contiene subnet del progetto host. Se crei un ambiente utilizzando gcloud, l'API o Terraform, il tuo account non ha bisogno di questa autorizzazione aggiuntiva.

  Per un ambiente VPC condiviso, devi sapere:

  • L'ID rete VPC del progetto host

  • L'ID subnet VPC del progetto host

  • Due intervalli IP secondari nella subnet VPC del progetto host:

    • Intervallo IP secondario per i pod
    • Intervallo IP secondario per i servizi

  Quando crei un ambiente VPC condiviso con IP pubblico, devi comunque specificare la rete VPC, la subnet e gli intervalli IP secondari del progetto host per pod e servizi.

• Per creare un ambiente VPC SC, devi creare un perimetro di servizio e poi creare ambienti IP privati all'interno di questo perimetro. Segui le istruzioni descritte in Configurazione dei Controlli di servizio VPC.

Le opzioni di networking aggiuntive per gli ambienti sono:

• Indirizzi IP pubblici utilizzati privatamente. Se vuoi utilizzare più indirizzi IP, il tuo ambiente può utilizzare privatamente determinati intervalli di indirizzi IP pubblici come intervalli di indirizzi IP interni e di subnet per pod e servizi.
• Reti autorizzate. Se vuoi accedere al control plane del tuo ambiente IP privato utilizzando HTTPS, puoi utilizzare le reti autorizzate per specificare gli intervalli CIDR che possono farlo.
• Agente di mascheramento IP. Utilizzando gli ambienti con l'agente di mascheramento IP, puoi utilizzare traduzioni molti-a-uno degli indirizzi IP nelle configurazioni di rete del tuo ambiente. Per saperne di più sulla creazione di ambienti con l'agente di mascheramento IP, consulta Abilitazione dell'agente di mascheramento IP.

Console

Per creare un ambiente IP privato:

1. Assicurati che la rete sia configurata per il tipo di ambiente che vuoi creare.

2. Nella sezione Configurazione di rete, espandi l'elemento Mostra configurazione di rete.

3. Nell'elenco a discesa Rete, seleziona l'ID rete VPC.

4. Nell'elenco a discesa Subnet, seleziona l'ID subnet VPC.

5. Nella sezione Intervallo IP secondario per i pod, seleziona o specifica l'intervallo IP secondario per i pod. Puoi utilizzare un intervallo secondario esistente nella tua rete VPC o scegliere di utilizzare un intervallo creato automaticamente.

6. Nella sezione Intervallo IP secondario per i servizi, seleziona o specifica l'intervallo IP secondario per i servizi. Puoi utilizzare un intervallo secondario esistente nella tua rete VPC o scegliere di utilizzare un intervallo creato automaticamente.

7. Nella sezione Tipo di networking, seleziona l'opzione Ambiente IP privato per creare un ambiente IP privato.

8. Nella sezione Connettività di Composer, seleziona il tipo di rete per il tuo ambiente e specifica gli intervalli IP per i componenti dell'ambiente:

   Per un ambiente che utilizza Private Service Connect:

   1. Seleziona Private Service Connect per un ambiente che utilizza Private Service Connect.

   2. Nella sezione Subnet connessione Composer specifica un intervallo IP per la subnet connessione Cloud Composer. L'indirizzo dell'endpoint PSC viene selezionato da questo intervallo. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.

   Per un ambiente che utilizza i peering VPC:

   1. Seleziona Peering VPC per un ambiente che utilizza i peering VPC.

      Nota: gli ambienti con peering VPC hanno più limitazioni rispetto agli ambienti con PSC.

   2. Nella sezione Intervallo IP per la rete tenant Composer, specifica un intervallo IP per la rete tenant Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.

   3. Nella sezione Intervallo IP per la rete Cloud SQL, specifica un intervallo IP per l'istanza Cloud SQL. Puoi specificare un intervallo personalizzato o scegliere di utilizzare quello predefinito.

      Attenzione: l'intervallo 172.17.0.0/16 è riservato in Cloud SQL.

9. Nella sezione Intervallo IP per la rete del control plane GKE, specifica un intervallo IP per il control plane GKE:

   • Per utilizzare l'intervallo IP predefinito per la regione in cui si trova il tuo ambiente, seleziona Intervallo IP predefinito.

   • Per specificare un intervallo IP personalizzato, seleziona Intervallo IP personalizzato e inserisci un intervallo in notazione CIDR nel campo IP privato del master del cluster GKE.

10. Seleziona il livello di accesso per il control plane GKE. Il control plane ha due endpoint. Un endpoint è privato e viene utilizzato da nodi e VM del cluster. Un altro endpoint è pubblico. Puoi specificare il livello di accesso per l'endpoint pubblico:

    • Per abilitare l'accesso all'endpoint pubblico dalle reti autorizzate, seleziona la casella di controllo Accedi all'endpoint del control plane del cluster utilizzando l'indirizzo IP esterno.

      Se utilizzi questa opzione, il livello di accesso per il control plane viene impostato su "Accesso all'endpoint pubblico abilitato, reti autorizzate abilitate". In questo modo, l'accesso al control plane è limitato alle reti autorizzate. Per impostazione predefinita, non vengono specificati indirizzi IP di origine. Puoi aggiungere reti autorizzate al cluster.

    • Per disabilitare l'accesso all'endpoint pubblico dalle reti autorizzate, deseleziona la casella di controllo Accedi all'endpoint del control plane del cluster utilizzando l'indirizzo IP esterno.

      Se utilizzi questa opzione, il livello di accesso per il control plane viene impostato su "Accesso all'endpoint pubblico disabilitato". In questo modo, viene impedito l'accesso a internet al control plane.

gcloud

Assicurati che la rete sia configurata per il tipo di ambiente che vuoi creare.

Quando crei un ambiente, i seguenti argomenti controllano i parametri di rete. Se ometti un parametro, viene utilizzato il valore predefinito.

• --enable-private-environment consente un ambiente IP privato.

• --network specifica l'ID della tua rete VPC.

• --subnetwork specifica l'ID subnet VPC.

• --cluster-secondary-range-name o --cluster-ipv4-cidr configura l'intervallo secondario per i pod.

• --services-secondary-range-name o--services-ipv4-cidr per configurare l'intervallo secondario per i servizi.

• --master-ipv4-cidr specifica un intervallo per il control plane GKE.

• (Ambienti con PSC) --connection-subnetwork specifica un intervallo per la subnet di connessione Cloud Composer, che ospita l'endpoint PSC.

• (Ambienti con peering VPC) --connection-type=VPC_PEERING specifica che un ambiente deve utilizzare i peering VPC.

• (Ambienti con peering VPC) --composer-network-ipv4-cidr specifica un intervallo per la rete tenant Cloud Composer. Questa rete ospita il componente proxy SQL del tuo ambiente.

• (Ambienti con peering VPC) --cloud-sql-ipv4-cidr specifica un intervallo per l'istanza Cloud SQL.

• --enable-private-endpoint controlla il livello di accesso per il control plane GKE. Il control plane ha due endpoint. Un endpoint è privato e viene utilizzato dai nodi e dalle VM del cluster. Un altro endpoint è pubblico. Puoi specificare il livello di accesso per l'endpoint pubblico:

  • Per abilitare l'accesso all'endpoint pubblico dalle reti autorizzate, ometti l'argomento --enable-private-endpoint.

    Se utilizzi questa opzione, il livello di accesso per il control plane viene impostato su "Accesso all'endpoint pubblico abilitato, reti autorizzate abilitate". In questo modo, l'accesso al control plane è limitato alle reti autorizzate. Per impostazione predefinita, non vengono specificati indirizzi IP di origine. Puoi aggiungere reti autorizzate al cluster.

  • Per disattivare l'accesso all'endpoint pubblico dalle reti autorizzate, specifica l'argomento --enable-private-endpoint.

    Se utilizzi questa opzione, il livello di accesso per il control plane viene impostato su "Accesso all'endpoint pubblico disabilitato". In questo modo, viene impedito l'accesso a internet al control plane.

• Gli argomenti --enable-master-authorized-networks e --master-authorized-networks configurano le reti autorizzate per il tuo ambiente.

• --enable-privately-used-public-ips configura indirizzi IP pubblici utilizzati privatamente per il tuo ambiente.

• --enable-ip-masq-agent abilita l'agente di mascheramento IP.

Esempio (ambiente IP privato)

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --enable-private-environment \
    --network NETWORK_ID \
    --subnetwork SUBNETWORK_ID \
    --cluster-ipv4-cidr PODS_RANGE \
    --services-ipv4-cidr SERVICES_RANGE \
    --master-ipv4-cidr CONTROL_PLANE_RANGE \
    --connection-subnetwork COMPOSER_PSC_RANGE \

Sostituisci:

• NETWORK_ID con l'ID rete VPC.

• SUBNETWORK_ID con l'ID subnet VPC.

• PODS_RANGE con l'intervallo secondario per i pod.

• SERVICES_RANGE con l'intervallo secondario per i servizi.

• CONTROL_PLANE_RANGE con l'intervallo secondario per il control plane GKE.

• COMPOSER_PSC_RANGE con l'intervallo per la subnet di connessione Cloud Composer.

Passaggio 8. (Facoltativo) Aggiungere tag di rete

I tag di rete vengono applicati a tutte le VM dei nodi nel cluster dell'ambiente. I tag vengono utilizzati per identificare origini o destinazioni valide per i firewall di rete. Ogni tag all'interno dell'elenco deve essere conforme allo standard RFC 1035.

Ad esempio, potresti voler aggiungere tag di rete se prevedi di limitare il traffico per un ambiente IP privato con regole firewall.

Attenzione :non puoi modificare i tag di rete in un secondo momento. Se in un secondo momento vuoi configurare regole firewall che hanno come target solo le VM nel cluster del tuo ambiente, specifica i tag di rete quando crei l'ambiente.

Console

Nella pagina Crea ambiente:

1. Individua la sezione Configurazione di rete.
2. Nel campo Tag di rete, inserisci i tag di rete per il tuo ambiente.

gcloud

Quando crei un ambiente, i seguenti argomenti controllano i tag di rete:

• --tags specifica un elenco separato da virgole di tag di rete applicati a tutte le VM del nodo.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --tags TAGS

Sostituisci:

• TAGS con un elenco separato da virgole di tag di rete.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --tags group1,production

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, specifica i tag di rete per l'ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "tags": [
        "TAG"
      ],
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• TAG con un tag di rete.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "tags": [
        "group1",
        "production"
      ],
      "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Quando crei un ambiente, i seguenti campi definiscono i tag di rete per il tuo ambiente:

• Il campo tags nel blocco node_config specifica un elenco separato da virgole di tag di rete applicati a tutte le VM del nodo.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      tags = ["TAGS"]
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• TAGS con un elenco separato da virgole di tag di rete.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      tags = ["group1","production"]
      service_account = "
[e-mail]
"
    }
  }
}

Passaggio 9: (Facoltativo) Configurare l'accesso di rete al server web

I parametri di accesso al server web Airflow non dipendono dal tipo di ambiente. Puoi invece configurare l'accesso al server web separatamente. Ad esempio, un ambiente IP privato può comunque avere l'interfaccia utente di Airflow accessibile da internet.

Non puoi configurare gli intervalli IP consentiti utilizzando indirizzi IP privati.

Attenzione: in alcuni casi, la propagazione delle modifiche ai parametri di accesso al web server può richiedere fino a 10 minuti.

Console

Nella pagina Crea ambiente:

1. Nella sezione Configurazione di rete, espandi l'elemento Mostra configurazione di rete.

2. Nella sezione Controllo dell'accesso di rete al server web:

   • Per fornire l'accesso al server web Airflow da tutti gli indirizzi IP, seleziona Consenti l'accesso da tutti gli indirizzi IP.

   • Per limitare l'accesso solo a intervalli IP specifici, seleziona Consenti l'accesso solo da indirizzi IP specifici. Nel campo Intervallo IP, specifica un intervallo IP in notazione CIDR. Nel campo Descrizione, specifica una descrizione facoltativa per questo intervallo. Se vuoi specificare più di un intervallo, fai clic su Aggiungi intervallo IP.

   • Per vietare l'accesso a tutti gli indirizzi IP, seleziona Consenti l'accesso solo da indirizzi IP specifici e fai clic su Elimina elemento accanto alla voce di intervallo vuota.

Nota: il server web Airflow del tuo ambiente è sempre protetto da IAM, indipendentemente dagli intervalli IP che possono accedervi.

gcloud

Quando crei un ambiente, i seguenti argomenti controllano il livello di accesso al server web:

• --web-server-allow-all fornisce l'accesso ad Airflow da tutti gli indirizzi IP. Questa è l'opzione predefinita.

• --web-server-allow-ip limita l'accesso solo a intervalli IP di origine specifici. Per specificare più intervalli IP, utilizza questo argomento più volte.

• --web-server-deny-all vieta l'accesso per tutti gli indirizzi IP.

Nota: il server web Airflow del tuo ambiente è sempre protetto da IAM, indipendentemente dagli intervalli IP che possono accedervi.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION

Sostituisci:

• WS_IP_RANGE con l'intervallo IP, nella notazione CIDR, che può accedere all'interfaccia utente di Airflow.
• WS_RANGE_DESCRIPTION con la descrizione dell'intervallo IP.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
    --web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, specifica i parametri di accesso al server web.

• Per fornire l'accesso al server web Airflow da tutti gli indirizzi IP, ometti webServerNetworkAccessControl.

• Per limitare l'accesso solo a intervalli IP specifici, specifica uno o più intervalli in allowedIpRanges.

• Per vietare l'accesso a tutti gli indirizzi IP, aggiungi allowedIpRanges e crea un elenco vuoto. Non specificare intervalli IP.

Nota: il server web Airflow del tuo ambiente è sempre protetto da IAM, indipendentemente dagli intervalli IP che possono accedervi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "WS_IP_RANGE",
          "description": "WS_RANGE_DESCRIPTION"
        }
      ]
    },
      "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• WS_IP_RANGE con l'intervallo IP, nella notazione CIDR, che può accedere all'interfaccia utente di Airflow.
• WS_RANGE_DESCRIPTION con la descrizione dell'intervallo IP.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "192.0.2.0/24",
          "description": "office net 1"
        },
        {
          "value": "192.0.4.0/24",
          "description": "office net 3"
        }
      ]
    },
      "nodeConfig": {
        "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Quando crei un ambiente, il blocco allowed_ip_range nel blocco web_server_network_access_control contiene intervalli IP che possono accedere al server web.

Nota: il server web Airflow del tuo ambiente è sempre protetto da IAM, indipendentemente dagli intervalli IP che possono accedervi.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    web_server_network_access_control {

      allowed_ip_range {
        value = "WS_IP_RANGE"
        description = "WS_RANGE_DESCRIPTION"
      }
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• WS_IP_RANGE con l'intervallo IP, nella notazione CIDR, che può accedere all'interfaccia utente di Airflow.
• WS_RANGE_DESCRIPTION con la descrizione dell'intervallo IP.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    web_server_network_access_control {
      allowed_ip_range {
        value = "192.0.2.0/24"
        description = "office net 1"
      },
      allowed_ip_range {
        value = "192.0.4.0/24"
        description = "office net 3"
      }
    }

    node_config {
      service_account = "
[e-mail]
"
    }

}

Passaggio 10: (Facoltativo) Specifica gli override della configurazione di Airflow e le variabili di ambiente

Puoi configurare gli override della configurazione di Airflow e le variabili di ambiente quando crei un ambiente. In alternativa, puoi farlo in un secondo momento, dopo aver creato l'ambiente.

Alcune opzioni di configurazione di Airflow sono bloccate e non puoi eseguirne l'override.

Per l'elenco delle opzioni di configurazione di Airflow disponibili, consulta Riferimento alla configurazione per Airflow 2 e Airflow 1.10.*.

Per specificare gli override della configurazione Airflow e le variabili di ambiente:

Console

Nella pagina Crea ambiente:

1. Nella sezione Variabili di ambiente, fai clic su Aggiungi variabile di ambiente.

2. Inserisci il Nome e il Valore della variabile di ambiente.

3. Nella sezione Override della configurazione Airflow, fai clic su Aggiungi override della configurazione Airflow.

4. Inserisci Sezione, Chiave e Valore per l'override dell'opzione di configurazione.

   Ad esempio:

   Sezione	Chiave	Valore
   webserver	dag_orientation	TB

gcloud

Quando crei un ambiente, i seguenti argomenti controllano le variabili di ambiente e gli override della configurazione di Airflow:

• --env-variables specifica un elenco separato da virgole di variabili di ambiente.

  I nomi delle variabili possono contenere lettere maiuscole e minuscole, cifre e trattini bassi, ma non possono iniziare con una cifra.

• --airflow-configs specifica un elenco di chiavi e valori separati da virgole per gli override della configurazione di Airflow.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --env-variables ENV_VARS \
    --airflow-configs CONFIG_OVERRIDES

Sostituisci:

• ENV_VARS con un elenco di coppie NAME=VALUE separate da virgole per le variabili di ambiente.
• CONFIG_OVERRIDES con un elenco separato da virgole di coppie SECTION-KEY=VALUE per gli override della configurazione. Separa il nome della sezione di configurazione con il simbolo -, seguito dal nome della chiave. Ad esempio: core-dags_are_paused_at_creation.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --env-variables SENDGRID_MAIL_FROM=[e-mail],SENDGRID_API_KEY=example-key \
    --airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, specifica le variabili di ambiente e gli override della configurazione di Airflow.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "SECTION-KEY": "OVERRIDE_VALUE"
      },
      "envVariables": {
        "VAR_NAME": "VAR_VALUE",
      }
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• SECTION con la sezione del file di configurazione in cui si trova l'opzione di configurazione di Airflow.
• KEY con il nome dell'opzione di configurazione di Airflow.
• OVERRIDE_VALUE con un valore dell'opzione di configurazione di Airflow.
• VAR_NAME con il nome della variabile di ambiente.
• VAR_VALUE con il valore della variabile di ambiente.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "core-dags_are_paused_at_creation": "True",
        "webserver-dag_orientation": "TB"
      },
      "envVariables": {
        "SENDGRID_MAIL_FROM": "[e-mail]",
        "SENDGRID_API_KEY": "example-key"
      }
    },
    "nodeConfig": {
        "serviceAccount": "
[e-mail]
"
    }
  }
}

Terraform

Quando crei un ambiente, i seguenti blocchi controllano le variabili di ambiente e gli override della configurazione di Airflow:

• Il blocco env_variables nel blocco software_config specifica le variabili di ambiente.

  I nomi delle variabili possono contenere lettere maiuscole e minuscole, cifre e trattini bassi, ma non possono iniziare con una cifra.

• Il blocco airflow_config_overrides nel blocco software_config specifica gli override della configurazione Airflow.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      airflow_config_overrides = {
        SECTION-KEY = "OVERRIDE_VALUE"
      }

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }

  }
}

Sostituisci:

• SECTION con la sezione del file di configurazione in cui si trova l'opzione di configurazione di Airflow.
• KEY con il nome dell'opzione di configurazione di Airflow.
• OVERRIDE_VALUE con un valore dell'opzione di configurazione di Airflow.
• VAR_NAME con il nome della variabile di ambiente.
• VAR_VALUE con il valore della variabile di ambiente.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      airflow_config_overrides = {
        core-dags_are_paused_at_creation = "True"
        webserver-dag_orientation = "TB"
      }

      env_variables = {
        SENDGRID_MAIL_FROM = "[e-mail]"
        SENDGRID_API_KEY = "example-key"
      }
    }

    node_config {
      service_account = "
[e-mail]
"
    }
  }
}

Passaggio 11. (Facoltativo) Specifica i periodi di manutenzione

Le finestre di manutenzione predefinite in Cloud Composer 2 vanno dalle 00:00:00 alle 04:00:00 (GMT) di venerdì, sabato e domenica di ogni settimana.

Per specificare periodi di manutenzione personalizzati per il tuo ambiente:

Console

Nella pagina Crea ambiente

1. Individua la sezione Periodi di manutenzione.

2. Nell'elenco a discesa Fuso orario, scegli un fuso orario per le finestre di manutenzione.

3. Imposta Ora di inizio, Giorni e Durata in modo che:

   • Almeno 12 ore di tempo sono allocate in una singola settimana.

   • Puoi utilizzare più fasce orarie, ma la durata di ciascuna deve essere di almeno 4 ore.

   Ad esempio, un periodo di 4 ore ogni lunedì, mercoledì e venerdì fornisce la quantità di tempo richiesta.

gcloud

I seguenti argomenti definiscono i parametri dei periodi di manutenzione:

• --maintenance-window-start imposta l'ora di inizio di un periodo di manutenzione.
• --maintenance-window-end imposta l'ora di fine di un periodo di manutenzione.
• --maintenance-window-recurrence imposta la ricorrenza del periodo di manutenzione.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora specificata del giorno, la data specificata viene ignorata.
• DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora specificata del giorno, la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.

• MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:

• Il formato FREQ=DAILY specifica una ricorrenza giornaliera.

• Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di mercoledì, sabato e domenica. La data del 1° gennaio 2023 viene ignorata.

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-2.13.9-airflow-2.10.5 \
  --service-account "
[e-mail]
" \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

Quando crei un ambiente, nella risorsa Environment > EnvironmentConfig, specifica i parametri delle finestre di manutenzione:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "maintenanceWindow": {
        "startTime": "DATETIME_START",
        "endTime": "DATETIME_END",
        "recurrence": "MAINTENANCE_RECURRENCE"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata, la data specificata viene ignorata.
• DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata, la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.

• MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:

• Il formato FREQ=DAILY specifica una ricorrenza giornaliera.

• Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di mercoledì, sabato e domenica. La data del 1° gennaio 2023 viene ignorata.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  }
}

Terraform

Il blocco maintenance_window specifica i periodi di manutenzione per il tuo ambiente:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }

    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

Sostituisci:

• DATETIME_START con la data e l'ora di inizio nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata, la data specificata viene ignorata.
• DATETIME_END con la data e l'ora di fine nel formato di input data/ora. Viene utilizzata solo l'ora del giorno specificata, la data specificata viene ignorata. La data e l'ora specificate devono essere successive alla data di inizio.

• MAINTENANCE_RECURRENCE con una RRULE RFC 5545 per la ricorrenza dei periodi di manutenzione. Cloud Composer supporta due formati:

  • Il formato FREQ=DAILY specifica una ricorrenza giornaliera.
  • Il formato FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA specifica una ricorrenza nei giorni della settimana selezionati.

L'esempio seguente specifica un periodo di manutenzione di 6 ore tra le 01:00 e le 07:00 (UTC) di mercoledì, sabato e domenica. La data del 1° gennaio 2023 viene ignorata.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Passaggio 12. (Facoltativo) Integrazione della derivazione dei dati

La derivazione dei dati è una funzionalità di Dataplex Universal Catalog che consente di monitorare lo spostamento dei dati.

L'integrazione della derivazione dei dati è disponibile in Cloud Composer 2 versioni 2.1.2 e successive con Airflow versioni 2.2.5 e successive.

L'integrazione della derivazione dei dati viene abilitata automaticamente in un nuovo ambiente Cloud Composer se vengono soddisfatte le seguenti condizioni:

• L'API Data Lineage è abilitata nel tuo progetto. Per saperne di più, consulta la sezione Attivazione dell'API Data Lineage nella documentazione di Dataplex Universal Catalog.

  Attenzione: dopo aver abilitato l'API Data Lineage, il Catalogo universale Dataplex inizia automaticamente l'importazione dei dati per BigQuery, Cloud Data Fusion e Dataproc. Ciò accade anche se non crei un ambiente Cloud Composer con l'integrazione della derivazione dei dati.

• Un backend Lineage personalizzato non è configurato in Airflow.

Puoi disattivare l'integrazione della derivazione dei dati quando crei un ambiente. Ad esempio, se vuoi ignorare il comportamento automatico o scegliere di attivare la derivazione dei dati in un secondo momento, dopo la creazione dell'ambiente.

Console

Per disattivare l'integrazione della derivazione dei dati, nella pagina Crea ambiente:

1. Nella sezione Configurazione avanzata, espandi l'elemento Mostra configurazione avanzata.

2. Nella sezione Integrazione della derivazione dei dati Dataplex, seleziona Disabilita l'integrazione con la derivazione dei dati Dataplex.

gcloud

Quando crei un ambiente, l'argomento --disable-cloud-data-lineage-integration disattiva l'integrazione della derivazione dei dati.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --disable-cloud-data-lineage-integration

Sostituisci:

• ENVIRONMENT_NAME con il nome dell'ambiente.
• LOCATION con la regione in cui si trova l'ambiente.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --disable-cloud-data-lineage-integration

Passaggio 13. (Facoltativo) Configurare la crittografia dei dati (CMEK)

Per impostazione predefinita, i dati nel tuo ambiente sono criptati con una chiave fornita da Google.

Per utilizzare le chiavi di crittografia gestite dal cliente (CMEK) per criptare i dati nel tuo ambiente, segui le istruzioni descritte in Utilizzo delle chiavi di crittografia gestite dal cliente.

Passaggio 14. (Facoltativo) Utilizza il bucket di un ambiente personalizzato

Avviso: poiché l'ambiente esegue i DAG per conto del account di servizio dell'ambiente, gli utenti che possono aggiungere e modificare i DAG nel bucket dell'ambiente personalizzato possono eseguire il proprio codice per conto del service account dell'ambiente ed esercitare tutte le autorizzazioni di questo account. Assicurati di conoscere le considerazioni sulla sicurezza per i service account dell'ambiente e di capire come questo account interagisce con le autorizzazioni e i ruoli che concedi ai singoli utenti del tuo progetto.

Quando crei un ambiente, Cloud Composer crea automaticamente un bucket per l'ambiente.

In alternativa, puoi specificare un bucket Cloud Storage personalizzato dal tuo progetto. Il tuo ambiente utilizza questo bucket nello stesso modo del bucket creato automaticamente.

Per utilizzare un bucket dell'ambiente personalizzato, segui le istruzioni riportate in Utilizzare il bucket di un ambiente personalizzato.

Passaggio 15. (Facoltativo) Specifica le etichette dell'ambiente

Puoi assegnare etichette ai tuoi ambienti per suddividere i costi di fatturazione in base a queste etichette.

Console

Nella sezione Etichette della pagina Crea ambiente:

1. Fai clic su Aggiungi etichetta.

2. Nei campi Chiave e Valore, specifica le coppie chiave-valore per le etichette dell'ambiente.

gcloud

Quando crei un ambiente, l'argomento --labels specifica un elenco separato da virgole di chiavi e valori con etichette dell'ambiente.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "SERVICE_ACCOUNT" \
    --labels LABELS

Sostituisci:

• LABELS con un elenco di coppie KEY=VALUE separate da virgole per le etichette dell'ambiente.

Esempio:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.13.9-airflow-2.10.5 \
    --service-account "
[e-mail]
" \
    --labels owner=engineering-team,env=production

API

Quando crei un ambiente, nella risorsa Environment, specifica le etichette per l'ambiente.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "labels": {
    "LABEL_KEY": "LABEL_VALUE"
  }
}

Sostituisci:

• LABEL_KEY con una chiave dell'etichetta dell'ambiente.
• LABEL_VALUE con un valore dell'etichetta dell'ambiente.

Esempio:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "labels": {
    "owner": "engineering-team",
    "env": "production"
  }
}

Terraform

Quando crei un ambiente, specifica le etichette nel blocco labels ( al di fuori del blocco config).

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  labels = {
    LABEL_KEY = "LABEL_VALUE"
  }

}

Sostituisci:

• LABEL_KEY con una chiave dell'etichetta dell'ambiente.
• LABEL_VALUE con un valore dell'etichetta dell'ambiente.

Esempio:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  labels = {
    owner = "engineering-team"
    env = "production"
  }

}

Passaggi successivi

• Risoluzione dei problemi di creazione dell'ambiente
• Configurazione di VPC condiviso
• Configurazione dei Controlli di servizio VPC
• Aggiunta e aggiornamento di DAG
• Accedere alla UI di Airflow
• Aggiornamento ed eliminazione di ambienti
• Informazioni sulle versioni di Cloud Composer