Questo documento elenca le quote e i limiti di sistema che si applicano a Dataform. Le quote specificano la quantità di una risorsa condivisa e conteggiabile che puoi utilizzare e sono definite dai servizi Google Cloud come Dataform. I limiti di sistema sono valori fissi che non possono essere modificati.
Google Cloud utilizza le quote per garantire equità e ridurre dei picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di dati Risorsa Google Cloud utilizzabile dal progetto Google Cloud. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o di progetti che puoi creare. Le quote proteggono la community degli utenti di Google Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano anche a gestire le tue risorse Google Cloud.
Il sistema Cloud Quotas esegue le seguenti operazioni:
- Monitora il tuo consumo dei prodotti e dei servizi Google Cloud
- Limita il tuo consumo di queste risorse
- Consente di richiedere modifiche al valore della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di progetto Google Cloud. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud, le quote sono condivise tra tutte le applicazioni e gli indirizzi IP.
Esistono anche limiti di sistema per le risorse Dataform. I limiti di sistema non possono essere modificati.
Rifornimento quota
Le quote giornaliere vengono ripristinate a intervalli regolari durante il giorno, riflettendo il loro intento di guidare i comportamenti di limitazione della frequenza. Aggiornamento intermittente viene eseguita anche per evitare lunghe interruzioni quando la quota si esaurisce. Altre quote vengono in genere rese disponibili entro pochi minuti, anziché essere ripristinate globalmente una volta al giorno.
Richiedi un aumento della quota
Per aumentare o diminuire la maggior parte delle quote, utilizza la console Google Cloud. Per ulteriori informazioni, vedi Richiedi una quota superiore.
Limita l'utilizzo delle quote
Scopri come limitare l'utilizzo di una particolare risorsa specificando un minore rispetto a quella predefinita, consulta Utilizzo limite.
Autorizzazioni obbligatorie
Per visualizzare e aggiornare le quote Dataform in nella console Google Cloud, devi disporre delle stesse autorizzazioni di qualsiasi account Google Cloud quota. Per ulteriori informazioni, vedi Autorizzazioni per le quote.
Risoluzione dei problemi
Per informazioni sulla risoluzione degli errori relativi a Dataform quote e limiti, consulta la sezione Risoluzione dei problemi.
Quote Dataform
Dataform ha le seguenti quote API:
| Quote | Limite |
|---|---|
| Richieste totali per progetto, per regione | 6000/minuto/progetto/regione |
| Richieste di compilazione per progetto, per regione | 120/minuto/progetto/regione |
| Richieste di accesso ai file per progetto, per regione | 120/minute/project/region |
| Richieste di installazione dei pacchetti per progetto, per regione | 120/minuto/progetto/regione |
| Richieste di chiamata del flusso di lavoro per progetto, per regione | 60/minuto/progetto/regione |
| Azioni del flusso di lavoro per esecuzione | 5000 |
Quote per i servizi utilizzati da Dataform
Dataform utilizza altri servizi Google Cloud. Questi servizi hanno quote a livello di progetto che si applicano quando utilizzi Dataform.
Dataform utilizza i seguenti servizi Google Cloud che hanno i propri limiti di quota:
Limiti delle risorse di compilazione di Dataform
Dataform applica i seguenti limiti di utilizzo alle risorse di compilazione:
| Limite di utilizzo | Valore |
|---|---|
| Numero massimo di azioni per compilazione di repository | 5000 |
| Numero massimo di dipendenze per azione nel grafico compilato | 50 |
| Dimensione totale massima dei dati serializzati del grafo compilato delle azioni | 20 MB |
| Dimensioni massime delle dipendenze NPM | 200 MB |
| Dimensione massima di un repository con crittografia CMEK | 512 MB |
| Dimensioni massime di uno spazio di lavoro in un repository con crittografia CMEK | 512 MB |
Inoltre, Dataform impone limiti all'utilizzo di CPU e memoria durante la compilazione. Se questi limiti vengono superati durante la compilazione del codice, la compilazione non va a buon fine e Dataform genera un errore di compilazione.
Per stimare l'utilizzo delle risorse di compilazione del repository, consulta Stima dell'utilizzo delle risorse di compilazione del repository.
Il tuo repository potrebbe superare i limiti di utilizzo per i seguenti motivi:
- Un bug di loop infinito nel codice del repository.
- Un bug di perdita di memoria nel codice del repository.
- Repository di grandi dimensioni, circa più di 1000 nodi del flusso di lavoro SQL.
- Numero elevato di query in parallelo.
Per saperne di più sulle dimensioni del repository in Dataform, consulta Panoramica delle dimensioni del repository.