Questo documento elenca le quote e i limiti di sistema che si applicano a Dataform.
- Le quote specificano la quantità di una risorsa condivisa e conteggiabile che puoi utilizzare. Le quote sono definite da Google Cloud servizi come Dataform.
- I limiti di sistema sono valori fissi che non possono essere modificati.
Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utenti diGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano anche a gestire le tue Google Cloud risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Google Cloud prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di progetto Google Cloud. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud, le quote sono condivise tra tutte le applicazioni e gli indirizzi IP.
Esistono inoltre limiti di sistema per le risorse Dataform. I limiti di sistema non possono essere modificati.
Rifornimento della quota
Le quote giornaliere vengono ripristinate a intervalli regolari durante il giorno, riflettendo il loro intento di guidare i comportamenti di limitazione della frequenza. Viene inoltre eseguito un aggiornamento intermittente per evitare lunghe interruzioni quando la quota si esaurisce. Altre quote vengono in genere rese disponibili entro pochi minuti, anziché essere ripristinate globalmente una volta al giorno.
Richiedi un aumento della quota
Per aumentare o diminuire la maggior parte delle quote, utilizza la console Google Cloud. Per ulteriori informazioni, consulta Richiedere una quota più alta.
Limita l'utilizzo delle quote
Per scoprire come limitare l'utilizzo di una risorsa specifica specificando una quota inferiore a quella predefinita, consulta Limitazione dell'utilizzo.
Autorizzazioni obbligatorie
Per visualizzare e aggiornare le quote di Dataform nella console Google Cloud, devi disporre delle stesse autorizzazioni di qualsiasi Google Cloud quota. Per ulteriori informazioni, consulta Autorizzazioni per le quote.
Risoluzione dei problemi
Per informazioni sulla risoluzione degli errori relativi alle quote e ai limiti di Dataform, consulta Risoluzione dei problemi.
Quote di Dataform
Dataform ha le seguenti quote API:
| Quote | Limite |
|---|---|
| Richieste totali per progetto, per regione | 6000/minuto/progetto/regione |
| Richieste di compilazione per progetto, per regione | 120/minuto/progetto/regione |
| Richieste di accesso ai file per progetto, per regione | 120/minuto/progetto/regione |
| Richieste di installazione del pacchetto per progetto, per regione | 120/minuto/progetto/regione |
| Richieste di richiamo del flusso di lavoro per progetto, per regione | 60/minuto/progetto/regione |
| Azioni del flusso di lavoro per esecuzione | 5000 |
Quote per i servizi utilizzati da Dataform
Dataform utilizza altri Google Cloud servizi. Questi servizi hanno quote a livello di progetto che si applicano quando utilizzi Dataform.
Dataform utilizza i seguenti Google Cloud servizi che hanno i propri limiti di quota:
Limiti delle risorse di compilazione di Dataform
Dataform applica i seguenti limiti di utilizzo alle risorse di compilazione:
| Limite di utilizzo | Valore |
|---|---|
| Numero massimo di azioni per compilazione del repository | 5000 |
| Numero massimo di dipendenze per azione nel grafico compilato | 50 |
| Dimensione totale massima dei dati serializzati del grafo compilato delle azioni | 20 MB |
| Dimensioni massime delle dipendenze NPM | 200 MB |
| Dimensione massima di un repository con crittografia CMEK | 512 MB |
| Dimensioni massime di uno spazio di lavoro in un repository con crittografia CMEK | 512 MB |
Inoltre, Dataform impone limiti all'utilizzo di CPU e memoria durante la compilazione. Se questi limiti vengono superati durante la compilazione del codice, la compilazione non va a buon fine e Dataform genera un errore di compilazione.
Per stimare l'utilizzo delle risorse di compilazione del tuo repository, consulta la sezione Stimare l'utilizzo delle risorse di compilazione del tuo repository.
Il tuo repository potrebbe superare i limiti di utilizzo per i seguenti motivi:
- Un bug di loop infinito nel codice del repository.
- Un bug di perdita di memoria nel codice del repository.
- Repository di grandi dimensioni, con circa più di 1000 nodi di flusso di lavoro SQL.
- Numero elevato di query simultanee.
Per ulteriori informazioni sulle dimensioni del repository in Dataform, consulta Panoramica delle dimensioni del repository.