Quote delle risorse Cloud Composer

Cloud Composer applica i seguenti limiti di quote API.

Nome quota Limite
Richieste di scrittura per progetto 1500 al minuto, 25.000 al giorno
Richieste di lettura per progetto 1000 al minuto

L'esecuzione della maggior parte delle chiamate API costa 1 unità, ma alcune sono più costose. L'esecuzione delle seguenti API costa 100 unità: environments.create, environments.update e environments.delete.

Gli strumenti che seguono sono basati sull'API Cloud Composer e utilizzano la quota API di Cloud Composer:

Cloud Composer utilizza altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Cloud Composer. Alcuni servizi sono necessari per utilizzare Cloud Composer, ad esempio Google Compute Engine e Google Cloud Storage. Altri servizi possono essere utilizzati facoltativamente con Cloud Composer quando si impostano i connettori in Airflow.

Servizi obbligatori

I seguenti servizi, che applicano limiti di quota, vengono utilizzati automaticamente (sono necessari) per creare ambienti di Cloud Composer.

  • Deployment Manager
  • Kubernetes Engine (basato su Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build (se si utilizzano le dipendenze PyPi)

Deployment Manager

Deployment Manager gestisce altre risorse di Google Cloud necessarie a Cloud Composer. Ogni chiamata gcloud composer create, update o delete si traduce in una query di scrittura e in più query di lettura di Deployment Manager alle quali si applica la quota di Deployment Manager.

Kubernetes Engine

Lo scheduler e i worker di Airflow vengono eseguiti all'interno di un cluster di Kubernetes Engine. Ciascun ambiente Cloud Composer crea un cluster. Per impostazione predefinita, un ambiente prevede tre VM Compute Engine, anche se questo numero può essere configurato durante o dopo la creazione. Il cluster influisce sulla quota di Kubernetes Engine, mentre il numero di nodi influisce sulla quota di Compute Engine.

Cloud Pub/Sub

Cloud Pub/Sub viene utilizzato per la comunicazione tra Composer Service e il deployment di Airflow creato. Ogni chiamata gcloud composer environments create o update crea due argomenti Cloud Pub/Sub e due sottoscrizioni Cloud Pub/Sub. Viene applicata la quota di Cloud Pub/Sub.

Stackdriver

Cloud Logging viene utilizzato per i log di Cloud Composer e per il flusso di dati dei log di Airflow. Viene applicata la quota di Logging.

Cloud Monitoring consente di raccogliere e visualizzare le metriche di Airflow in una dashboard personalizzata. Viene applicata la quota di Monitoring.

Cloud Build

Cloud Build ti consente di creare immagini Docker personalizzate durante l'installazione di pacchetti PyPi. Vengono applicate le quote di Cloud Build.

Servizi facoltativi

Puoi usare gli operatori Airflow con i servizi Google Cloud. Qualsiasi servizio utilizzato in un ambiente Cloud Composer è soggetto alla relativa quota.