Quote e limiti

Quote

Il servizio gestito Cloud Dataflow ha i seguenti limiti di quota:

  • Ogni utente può effettuare fino a 3.000.000 di richieste al minuto.
  • Ogni job Cloud Dataflow può utilizzare un massimo di 1000 istanze di Cloud Storage.
  • Ogni progetto di Google Cloud Platform può eseguire 25 job simultanei di Cloud Dataflow.
  • Ogni organizzazione può eseguire 125 job simultanei di Cloud Dataflow.
  • Ogni utente può effettuare fino a 15.000 richieste di monitoraggio al minuto.

Se vuoi eseguire più di 25 job simultanei di Cloud Dataflow per il tuo progetto o più di 125 job simultanei di Cloud Dataflow per la tua organizzazione, contatta l'assistenza di Google Cloud Platform e aumenteremo il limite a un valore che meglio si adatta alle tue esigenze.

Inoltre, il servizio Cloud Dataflow utilizza vari componenti GCP, come BigQuery, Cloud Storage, Cloud Pub/Sub e Compute Engine. Questi e altri servizi GCP utilizzano le quote per limitare il numero massimo di risorse che è possibile utilizzare in un progetto. Quando utilizzi Cloud Dataflow, potresti dover modificare le impostazioni delle quote per questi servizi.

Quote di Compute Engine

Quando esegui la pipeline sul servizio Cloud Dataflow, quest'ultimo avvia le istanze di Compute Engine per eseguire il codice della pipeline.

La quota di Compute Engine viene specificata per area geografica. Controlla la quota di Compute Engine del progetto e, se necessario, richiedi le seguenti modifiche:

  • CPU: i tipi di macchina predefiniti per Cloud Dataflow sono n1-standard-1 per la modalità batch e n1-standard-4 per la modalità di flusso. Compute Engine calcola il numero di CPU sommando il conteggio totale delle CPU di ciascuna istanza. Ad esempio, l'esecuzione di 10 istanze n1-standard-4 corrisponde a un conteggio totale di 40 CPU. Vedi Tipi di macchina di Compute Engine per una mappatura dei tipi di macchina al conteggio delle CPU.
  • Indirizzi IP in uso: il numero di indirizzi IP in uso nel progetto deve essere sufficiente per poter gestire il numero desiderato di istanze. Per utilizzare 10 istanze di Compute Engine, sono necessari 10 indirizzi IP in uso.
  • Disco permanente: Cloud Dataflow collega dischi permanenti a ciascuna istanza. La dimensione predefinita del disco è 250 GB per la modalità batch e 420 GB per la modalità di flusso. Nel caso di 10 istanze, per impostazione predefinita sono necessari 2500 GB di disco permanente per un job batch.
  • Gruppi di istanze gestite: Cloud Dataflow distribuisce le istanze di Compute Engine come gruppo di istanze gestite. Assicurati che sia disponibile la seguente quota correlata:
    • Un singolo gruppo di istanze per job Cloud Dataflow
    • Un singolo gruppo di istanze gestite per job Cloud Dataflow
    • Un singolo modello di istanza per job Cloud Dataflow
Nota: se stai utilizzando un progetto in prova gratuita, puoi utilizzare un massimo di 8 core. Devi specificare una combinazione di numWorkers, workerMachineType e maxNumWorkers che rientri nel limite del periodo di prova.

Quote aggiuntive

A seconda del tipi di origini e sink che utilizzi, potresti aver bisogno di quote aggiuntive.

  1. Cloud Pub/Sub: se stai utilizzando Cloud Pub/Sub, potresti avere bisogno di una quota aggiuntiva. Quando pianifichi una quota, ricorda che l'elaborazione di un messaggio da Cloud Pub/Sub comporta tre operazioni. Se utilizzi timestamp personalizzati, devi raddoppiare il numero previsto di operazioni poiché Cloud Dataflow creerà un abbonamento separato per tracciare i timestamp personalizzati.
  2. BigQuery: se stai utilizzando l'API di flusso per BigQuery, vengono applicati limiti di quota e altre restrizioni.

Limiti

Questa sezione descrive i limiti di produzione pratici per Cloud Dataflow.

Nota: questi valori sono soggetti a modifiche e si applicano alle versioni più recenti degli SDK Cloud Dataflow. Le pipeline compilate con versioni precedenti degli SDK Cloud Dataflow potrebbero incontrare limiti di runtime più rigidi.

Limite Importo
Numero massimo di nodi di lavoro per pipeline. 1000
Dimensione massima per una richiesta di creazione job. Le descrizioni di pipeline con molti passaggi e nomi eccessivamente dettagliati potrebbero raggiungere questo limite. 10 MB
Numero massimo di shard di input aggiuntivi. 20.000
Hai trovato utile questa pagina? Facci sapere cosa ne pensi:

Invia feedback per...

Hai bisogno di assistenza? Visita la nostra pagina di assistenza.