Ce document présente les quotas et les limites qui s'appliquent à Dataform.
Un quota limite la quantité d'une ressource Google Cloud partagée particulière que votre projet Google Cloud peut utiliser, y compris les composants matériels, logiciels et réseau.
Les quotas font partie d'un système qui effectue les opérations suivantes :
- Surveille votre utilisation ou votre consommation des produits et services Google Cloud
- Limite la consommation de ces ressources pour des raisons telles que l'équité et la réduction des pics d'utilisation
- Gère des configurations qui appliquent automatiquement des restrictions recommandées
- Fournit un moyen de modifier le quota ou de demander des modifications
Dans la plupart des cas, lorsqu'un quota est dépassé, le système bloque immédiatement l'accès à la ressource Google concernée et la tâche que vous essayez d'effectuer échoue. Dans la plupart des cas, les quotas s'appliquent à chaque projet Google Cloud. Ils sont partagés entre toutes les applications et adresses IP qui utilisent ce projet.
Il existe également des limites pour les ressources Dataform. Ces limites ne sont pas liées au système de quotas. Sauf indication contraire, les limites ne peuvent pas être modifiées.
Renouvellement de quota
Les quotas quotidiens sont réapprovisionnés à intervalles réguliers tout au long de la journée, de sorte à inciter les utilisateurs à limiter leur taux de requêtes. Une actualisation intermittente permet également d'éviter de longues perturbations lorsque le quota est épuisé. Un quota supérieur est généralement rendu disponible en quelques minutes au lieu d'être réapprovisionné dans le monde entier une fois par jour.
Demander une augmentation du quota
Pour demander une augmentation ou une diminution de la plupart des quotas, vous pouvez utiliser Google Cloud Console. Pour en savoir plus, consultez la section Demander un quota supérieur.
Limiter l'utilisation des quotas
Pour savoir comment limiter l'utilisation d'une ressource particulière en spécifiant un quota inférieur à celui par défaut, consultez la section Limiter l'utilisation des ressources.
Autorisations requises
Pour afficher et mettre à jour vos quotas Dataform dans la console Google Cloud, vous devez disposer des mêmes autorisations que pour tout quota Google Cloud. Pour en savoir plus, consultez la section Autorisations de quota.
Dépannage
Pour en savoir plus sur la résolution des erreurs liées aux quotas et limites Dataform, consultez la page Dépannage.
Quotas Dataform
Dataform dispose des quotas d'API suivants:
| Quotas | Limite |
|---|---|
| Nombre total de requêtes par projet et par région | 6 000/minute/projet/région |
| Requêtes de compilation par projet et par région | 120/minute/projet/région |
| Requêtes d'accès aux fichiers par projet et par région | 120/minute/projet/région |
| Requêtes d'installation de packages par projet et par région | 120/minute/projet/région |
| Requêtes d'appel de workflow par projet et par région | 60/minute/projet/région |
| Actions de workflow par exécution | 5000 |
Quotas de services utilisés par Dataform
Dataform utilise d'autres services Google Cloud. Ces services disposent de quotas au niveau du projet, qui s'appliquent lorsque vous utilisez Dataform.
Dataform utilise les services Google Cloud suivants, qui disposent de leurs propres limites de quota:
Limites des ressources de compilation Dataform
Dataform applique les limites d'utilisation suivantes aux ressources de compilation:
| Limite d'utilisation | Valeur |
|---|---|
| Utilisation du temps CPU | 8 secondes |
| Mémoire maximale du tas de mémoire | 100 Mo |
| Nombre maximal d'actions par compilation du dépôt | 5000 |
| Nombre maximal de dépendances par action dans le graphique compilé | 50 |
| Taille maximale totale des données sérialisées du graphique d'actions compilé | 20 Mo |
| Taille maximale des dépendances NPM | 200 Mo |
Lorsque votre dépôt dépasse les limites d'utilisation lors de la compilation, la compilation échoue et Dataform génère une erreur de compilation.
Pour en savoir plus sur l'estimation de l'utilisation des ressources de compilation de votre dépôt, consultez la section Estimer l'utilisation des ressources de compilation de votre dépôt.
Votre dépôt peut dépasser les limites d'utilisation pour les raisons suivantes:
- Bug de boucle infinie dans le code du dépôt.
- Bug de fuite de mémoire dans le code du dépôt.
- Taille du dépôt importante, environ 1 000 nœuds de workflow SQL
- Un grand nombre de requêtes simultanées
Pour en savoir plus sur la taille du dépôt dans Dataform, consultez la page Présentation de la taille du dépôt.