Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Questa pagina descrive come scalare gli ambienti Cloud Composer.
Scalare verticalmente e orizzontalmente
In Cloud Composer 1, non definisci risorse specifiche di CPU e memoria per i componenti di Cloud Composer e Airflow, come worker e scheduler. Specifichi invece il numero e il tipo di macchine per i nodi nel cluster del tuo ambiente.
Opzioni per la scalabilità orizzontale:
- Modificare il numero di nodi
- Modificare il numero di scheduler
Opzioni per lo scale up:
- Modifica il tipo di macchina dell'istanza Cloud SQL
- Modifica il tipo di macchina del server web
Modificare i parametri dello scheduler
Il tuo ambiente può eseguire più di uno scheduler Airflow contemporaneamente. Utilizza più scheduler per distribuire il carico tra diverse istanze dello scheduler in modo da migliorare i livelli di prestazioni e affidabilità.
Se il tuo ambiente utilizza Airflow 2, puoi specificare un numero di scheduler fino al numero di nodi nel tuo ambiente.
Quando esegui lo scale degli scheduler, tieni presente quanto segue:
Negli ambienti Cloud Composer 3, i processori DAG di Airflow vengono eseguiti come componenti dell'ambiente separati dagli scheduler. Poiché il processore DAG esegue l'offload dell'analisi dei DAG dallo scheduler, potresti voler ridistribuire le risorse precedentemente allocate agli scheduler Airflow.
Poiché gli scheduler non analizzano i DAG in Cloud Composer 3, hanno limiti di risorse inferiori per CPU e memoria rispetto a Cloud Composer 2.
L'aumento del numero di scheduler non sempre migliora le prestazioni di Airflow.
Ad esempio, questo può accadere quando lo scheduler aggiuntivo non viene utilizzato e consuma le risorse del tuo ambiente senza contribuire al rendimento complessivo. Le prestazioni effettive dello scheduler dipendono dal numero di worker Airflow, dal numero di DAG e attività eseguiti nel tuo ambiente e dalla configurazione di Airflow e dell'ambiente.
Ti consigliamo di iniziare con due scheduler e poi monitorare il rendimento del tuo ambiente. Se modifichi il numero di scheduler, puoi sempre scalare l'ambiente al numero originale di scheduler.
Per saperne di più sulla configurazione di più scheduler, consulta la documentazione di Airflow.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Risorse > Configurazione dei carichi di lavoro, fai clic su Modifica.
Nell'elemento Risorse > Numero di pianificatori, fai clic su Modifica.
Nel riquadro Configurazione dello scheduler, specifica il numero di scheduler per il tuo ambiente nel campo Numero di scheduler.
Fai clic su Salva.
gcloud
Sono disponibili i seguenti parametri dello scheduler Airflow:
--scheduler-count
: il numero di scheduler nel tuo ambiente.
Esegui questo comando Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--scheduler-count SCHEDULER_COUNT
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--scheduler-count 2
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.workloadsConfig.schedulerCount
.Nel corpo della richiesta, specifica il numero di scheduler per il tuo ambiente.
"config": {
"workloadsConfig": {
"scheduler": {
"count": SCHEDULER_COUNT
}
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.SCHEDULER_COUNT
: il numero di scheduler.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler
"config": {
"workloadsConfig": {
"scheduler": {
"count": 2
}
}
}
Terraform
I seguenti campi nel blocco workloads_config.scheduler
controllano i parametri dello scheduler Airflow. Ogni pianificatore utilizza la quantità specificata di
risorse.
scheduler.count
: il numero di scheduler nel tuo ambiente.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
count = SCHEDULER_COUNT
}
}
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.SCHEDULER_COUNT
: il numero di scheduler.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
count = 2
}
}
}
}
Modifica i parametri del trigger
Puoi impostare il numero di attivatori su zero, ma devi avere almeno un'istanza di attivatore nel tuo ambiente (o almeno due in ambienti a elevata resilienza) per utilizzare gli operatori differibili nei tuoi DAG.
A seconda della modalità di resilienza del tuo ambiente, esistono diverse configurazioni possibili per il numero di trigger:
- Resilienza standard: puoi eseguire fino a 10 trigger.
- Resilienza elevata: almeno 2 trigger, fino a un massimo di 10 trigger.
Anche se il numero di triggerer è impostato su zero, viene creata una definizione di pod triggerer visibile nel cluster del tuo ambiente, ma non vengono eseguiti carichi di lavoro triggerer effettivi.
Puoi anche specificare la quantità di CPU, memoria e spazio su disco utilizzati dagli attivatori Airflow nel tuo ambiente. In questo modo, puoi aumentare le prestazioni del tuo ambiente, oltre allo scaling orizzontale fornito dall'utilizzo di più attivatori.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Risorse > Configurazione dei carichi di lavoro, fai clic su Modifica.
Nel riquadro Configurazione dei workload, regola i parametri per i trigger di Airflow:
Nella sezione Triggerer, nel campo Numero di triggerer, inserisci il numero di triggerer nel tuo ambiente.
Se imposti almeno un trigger per il tuo ambiente, utilizza anche i campi CPU e Memoria per configurare l'allocazione delle risorse per i trigger.
Nei campi CPU e Memoria, specifica il numero di CPU, memoria e spazio di archiviazione per i trigger di Airflow. Ogni trigger utilizza la quantità specificata di risorse.
Fai clic su Salva.
gcloud
Sono disponibili i seguenti parametri dell'attivatore Airflow:
--triggerer-count
: il numero di triggerer nel tuo ambiente.- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
0
e10
. - Per ambienti altamente resilienti, utilizza
0
, o un valore compreso tra2
e10
.
- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
--triggerer-cpu
: il numero di CPU per un trigger di Airflow.--triggerer-memory
: la quantità di memoria per un trigger di Airflow.
Esegui questo comando Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.TRIGGERER_COUNT
: il numero di triggerer.TRIGGERER_CPU
: il numero di CPU per un trigger, in unità vCPU.TRIGGERER_MEMORY
: la quantità di memoria per un trigger.
Esempi:
- Scalabilità a quattro istanze di triggerer:
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 4 \
--triggerer-cpu 1 \
--triggerer-memory 1
- Disattiva i triggerer impostando il conteggio dei triggerer su
0
. Questa operazione non richiede la specifica di CPU o memoria per i trigger.
gcloud composer environments update example-environment \
--location us-central1 \
--triggerer-count 0
API
Nel parametro di query
updateMask
, specifica la mascheraconfig.workloadsConfig.triggerer
.Nel corpo della richiesta, specifica tutti e tre i parametri per i trigger.
"config": {
"workloadsConfig": {
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
}
}
}
Sostituisci quanto segue:
TRIGGERER_COUNT
: il numero di triggerer.- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
0
e10
. - Per ambienti altamente resilienti, utilizza
0
, o un valore compreso tra2
e10
.
- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
TRIGGERER_CPU
: il numero di CPU per un trigger, in unità vCPU.TRIGGERER_MEMORY
: la quantità di memoria per un trigger.
Esempi:
- Disattiva i triggerer impostando il conteggio dei triggerer su
0
. Questa operazione non richiede la specifica di CPU o memoria per i trigger.
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 0
}
}
}
- Scalabilità a quattro istanze di triggerer:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
"workloadsConfig": {
"triggerer": {
"count": 4,
"cpu": 1,
"memoryGb": 1
}
}
}
Terraform
I seguenti campi nel blocco workloads_config.triggerer
controllano i parametri del trigger Airflow. Ogni trigger utilizza la quantità specificata di
risorse.
triggerer.count
: il numero di triggerer nel tuo ambiente.- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
0
e10
. - Per ambienti altamente resilienti, utilizza
0
, o un valore compreso tra2
e10
.
- Per gli ambienti di resilienza standard, utilizza un valore compreso tra
triggerer.cpu
: il numero di CPU per un trigger di Airflow.triggerer.memory_gb
: la quantità di memoria per un attivatore Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
}
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.TRIGGERER_COUNT
: il numero di triggerer.TRIGGERER_CPU
: il numero di CPU per un trigger, in unità vCPU.TRIGGERER_MEMORY
: la quantità di memoria per un triggerer, in GB.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
}
}
}
Modificare i parametri del server web
Puoi specificare la quantità di CPU, memoria e spazio su disco utilizzati dal server web di Airflow nel tuo ambiente. In questo modo, puoi scalare il rendimento dell'interfaccia utente di Airflow, ad esempio, per soddisfare la domanda proveniente da un numero elevato di utenti o da un numero elevato di DAG gestiti.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Risorse > Configurazione dei carichi di lavoro, fai clic su Modifica.
Nel riquadro Configurazione dei carichi di lavoro, modifica i parametri per il server web. Nei campi CPU, Memoria e Spazio di archiviazione, specifica il numero di CPU, la quantità di memoria e lo spazio di archiviazione per il server web.
Fai clic su Salva.
gcloud
Sono disponibili i seguenti parametri del server web Airflow:
--web-server-cpu
: il numero di CPU per il server web Airflow.--web-server-memory
: la quantità di memoria per il server web di Airflow.--web-server-storage
: la quantità di spazio su disco per il server web di Airflow.
Esegui questo comando Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.WEB_SERVER_CPU
: il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
: la quantità di memoria per il server web.WEB_SERVER_STORAGE
: la quantità di memoria per il server web.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-cpu 1 \
--web-server-memory 2.5 \
--web-server-storage 2
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.workloadsConfig.webServer
per aggiornare tutti i parametri del server web. Puoi anche aggiornare i singoli parametri del web server specificando una maschera per questi parametri:config.workloadsConfig.webServer.cpu
,config.workloadsConfig.webServer.memoryGb
,config.workloadsConfig.webServer.storageGb
.Nel corpo della richiesta, specifica i nuovi parametri del server web.
"config": {
"workloadsConfig": {
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
}
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.WEB_SERVER_CPU
: il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
: la quantità di memoria per il server web, in GB.WEB_SERVER_STORAGE
: le dimensioni del disco per il web server, in GB.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb
"config": {
"workloadsConfig": {
"webServer": {
"cpu": 0.5,
"memoryGb": 2.5,
"storageGb": 2
}
}
}
Terraform
I seguenti campi nel blocco workloads_config.web_server
controllano i parametri del server web.
web_server.cpu
: il numero di CPU per il web server.web_server.memory_gb
: la quantità di memoria per il server web.web_server.storage_gb
: la quantità di spazio su disco per il server web.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
}
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.WEB_SERVER_CPU
: il numero di CPU per il server web, in unità vCPU.WEB_SERVER_MEMORY
: la quantità di memoria per il server web, in GB.WEB_SERVER_STORAGE
: le dimensioni del disco per il web server, in GB.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
web_server {
cpu = 0.5
memory_gb = 1.875
storage_gb = 1
}
}
}
}
Modificare le dimensioni dell'ambiente
La dimensione dell'ambiente controlla i parametri di rendimento dell'infrastruttura Cloud Composer gestita che include, ad esempio, il database Airflow.
Se hai intenzione di eseguire un numero elevato di DAG e attività, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Risorse > Configurazione dei carichi di lavoro, fai clic su Modifica.
Nell'elemento Risorse > Infrastruttura di base, fai clic su Modifica.
Nel riquadro Infrastruttura di base, nel campo Dimensioni ambiente, specifica le dimensioni dell'ambiente.
Fai clic su Salva.
gcloud
L'argomento --environment-size
controlla le dimensioni dell'ambiente:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--environment-size ENVIRONMENT_SIZE
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.ENVIRONMENT_SIZE
:small
,medium
olarge
.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--environment-size medium
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.environmentSize
.Nel corpo della richiesta, specifica le dimensioni dell'ambiente.
"config": {
"environmentSize": "ENVIRONMENT_SIZE"
}
Sostituisci quanto segue:
ENVIRONMENT_SIZE
: le dimensioni dell'ambiente,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize
"config": {
"environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}
Terraform
Il campo environment_size
nel blocco config
controlla le dimensioni dell'ambiente:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
environment_size = "ENVIRONMENT_SIZE"
}
}
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.ENVIRONMENT_SIZE
: le dimensioni dell'ambiente,ENVIRONMENT_SIZE_SMALL
,ENVIRONMENT_SIZE_MEDIUM
oENVIRONMENT_SIZE_LARGE
.
Esempio:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
}
Modificare il numero di nodi
Puoi modificare il numero di nodi nel tuo ambiente.
Questo numero corrisponde al numero di worker Airflow nel tuo ambiente. Oltre a eseguire i worker Airflow, i nodi dell'ambiente eseguono anche gli scheduler Airflow e altri componenti dell'ambiente.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Nodi worker > Numero di nodi, fai clic su Modifica.
Nel riquadro Configurazione dei nodi worker, nel campo Conteggio nodi, specifica il numero di nodi nel tuo ambiente.
Fai clic su Salva.
gcloud
L'argomento --node-count
controlla il numero di nodi nel tuo ambiente:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--zone NODE_ZONE \
--node-count NODE_COUNT
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.NODE_COUNT
: il numero di nodi. Il numero minimo di nodi è3
.NODE_ZONE
: la zona Compute Engine per le VM dell'ambiente.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--zone us-central1-a \
--node-count 6
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.nodeCount
.Nel corpo della richiesta, specifica il numero di nodi per il tuo ambiente.
"config": {
"nodeCount": NODE_COUNT
}
Sostituisci quanto segue:
NODE_COUNT
: il numero di nodi. Il numero minimo di nodi è3
.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount
"config": {
"nodeCount": 6
}
Terraform
Il campo node_count
nel blocco node_config
specifica il numero di nodi nel tuo ambiente.
resource "google_composer_environment" "example" {
config {
node_config {
node_count = NODE_COUNT
}
}
Sostituisci quanto segue:
NODE_COUNT
: il numero di nodi.
Esempio:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
node_config {
node_count = 4
}
}
Modifica il tipo di macchina dell'istanza Cloud SQL
Puoi modificare il tipo di macchina dell'istanza Cloud SQL che archivia il database Airflow del tuo ambiente.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nella sezione Risorse > Tipo di macchina Cloud SQL, fai clic su Modifica.
Nel riquadro Configurazione Cloud SQL, seleziona il tipo di macchina per l'istanza Cloud SQL del tuo ambiente dall'elenco a discesa Tipo di macchina Cloud SQL.
Fai clic su Salva.
gcloud
Gli argomenti --cloud-sql-machine-type
controllano il tipo di macchina dell'istanza Cloud SQL nel tuo ambiente.
Esegui questo comando Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--cloud-sql-machine-type SQL_MACHINE_TYPE
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.SQL_MACHINE_TYPE
: il tipo di macchina per l'istanza Cloud SQL.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--cloud-sql-machine-type db-n1-standard-2
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.databaseConfig.machineType
.Nel corpo della richiesta, specifica il tipo di macchina per l'istanza Cloud SQL.
{
"config": {
"databaseConfig": {
"machineType": "SQL_MACHINE_TYPE"
}
}
}
Sostituisci quanto segue:
SQL_MACHINE_TYPE
: il tipo di macchina per l'istanza Cloud SQL.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType
{
"config": {
"databaseConfig": {
"machineType": "db-n1-standard-2"
}
}
}
Terraform
Il campo machine_type
nel blocco database_config
specifica il tipo di macchina per l'istanza Cloud SQL.
resource "google_composer_environment" "example" {
config {
database_config {
machine_type = "SQL_MACHINE_TYPE"
}
}
}
Sostituisci quanto segue:
SQL_MACHINE_TYPE
: il tipo di macchina per l'istanza Cloud SQL.
Esempio:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
database_config {
machine_type = "db-n1-standard-2"
}
}
Modifica il tipo di macchina del server web
Puoi modificare il tipo di macchina per il server web Airflow del tuo ambiente.
Console
Nella console Google Cloud , vai alla pagina Ambienti.
Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.
Vai alla scheda Configurazione ambiente.
Nell'elemento Tipo di macchina del server web in Risorse >, fai clic su Modifica.
Nel riquadro Configurazione del server web, nell'elenco a discesa Tipo di macchina del server web, seleziona il tipo di macchina per il server web Airflow.
Fai clic su Salva.
gcloud
Gli argomenti --web-server-machine-type
controllano il tipo di macchina dell'istanza del server web Airflow nel tuo ambiente.
Esegui questo comando Google Cloud CLI:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--web-server-machine-type WS_MACHINE_TYPE
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.WS_MACHINE_TYPE
: il tipo di macchina per l'istanza del server web di Airflow.
Esempio:
gcloud composer environments update example-environment \
--location us-central1 \
--web-server-machine-type composer-n1-webserver-2
API
Crea una richiesta API
environments.patch
.In questa richiesta:
Nel parametro
updateMask
, specifica la mascheraconfig.webServerConfig.machineType
.Nel corpo della richiesta, specifica il tipo di macchina per il server web.
{
"config": {
"webServerConfig": {
"machineType": "WS_MACHINE_TYPE"
}
}
}
Sostituisci quanto segue:
WS_MACHINE_TYPE
: il tipo di macchina per l'istanza del server web di Airflow.
Esempio:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType
{
"config": {
"webServerConfig": {
"machineType": "composer-n1-webserver-2"
}
}
}
Terraform
Il campo machine_type
nel blocco web_server_config
specifica il
tipo di macchina per l'istanza del server web Airflow.
resource "google_composer_environment" "example" {
config {
web_server_config {
machine_type = "WS_MACHINE_TYPE"
}
}
}
Sostituisci quanto segue:
WS_MACHINE_TYPE
: il tipo di macchina per l'istanza del server web di Airflow.
Esempio:
resource "google_composer_environment" "example" {
name = "example-environment"
region = "us-central1"
config {
web_server_config {
machine_type = "composer-n1-webserver-2"
}
}
Passaggi successivi
- Scalabilità e prestazioni dell'ambiente
- Prezzi di Cloud Composer
- Aggiornare gli ambienti
- Architettura dell'ambiente