Ce document répertorie les quotas et limites qui s'appliquent au Dataform
Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité de ressources Google Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, les quotas peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Les quotas protègent la communauté des utilisateurs de Google Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud.
Le système Cloud Quotas effectue les opérations suivantes :
- Surveille votre consommation de produits et services Google Cloud
- Limite votre consommation de ces ressources
- Permet de demander des modifications de la valeur du quota
Dans la plupart des cas, lorsque vous tentez d'utiliser plus d'une ressource que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du projet Google Cloud. Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud, les quotas sont partagés entre toutes les applications et adresses IP.
Des limites s'appliquent également aux ressources Dataform. Ces limites ne sont pas liées au système de quotas. Sauf indication contraire, les limites ne peuvent pas être modifiées.
Renouvellement de quota
Les quotas quotidiens sont réapprovisionnés à intervalles réguliers tout au long de la journée, de sorte à inciter les utilisateurs à limiter leur taux de requêtes. Actualisation intermittente permet également d'éviter de longues interruptions en cas d'épuisement du quota. Des quotas supplémentaires sont généralement disponibles en quelques minutes, au lieu que ceux disponibles dans le monde entier une fois par jour.
Demander une augmentation du quota
Pour demander une augmentation ou une diminution de la plupart des quotas, vous pouvez utiliser Google Cloud Console. Pour en savoir plus, consultez Demandez un quota plus élevé.
Limiter l'utilisation des quotas
Pour savoir comment limiter l'utilisation d'une ressource particulière en spécifiant un un quota inférieur à celui par défaut, consultez Limite d'utilisation.
Autorisations requises
Pour afficher et mettre à jour vos quotas Dataform dans le la console Google Cloud, vous devez disposer des mêmes autorisations que pour quota. Pour en savoir plus, consultez Autorisations liées aux quotas.
Dépannage
Pour en savoir plus sur la résolution des erreurs liées à Dataform et les limites, consultez la section Dépannage.
Quotas Dataform
Les quotas d'API de Dataform sont les suivants:
| Quotas | Limite |
|---|---|
| Nombre total de requêtes par projet et par région | 6000/minute/project/region |
| Requêtes de compilation par projet et par région | 120/minute/project/region |
| Requêtes d'accès aux fichiers par projet et par région | 120/minute/project/region |
| Requêtes d'installation de packages par projet et par région | 120/minute/project/region |
| Requêtes d'appel de workflow par projet et par région | 60/minute/project/region |
| Actions de workflow par exécution | 5000 |
Quotas pour les services utilisés par Dataform
Dataform utilise d'autres services Google Cloud. Ces services ont les quotas au niveau du projet qui s'appliquent lorsque vous utilisez Dataform.
Dataform utilise les services Google Cloud suivants : ont leurs propres limites de quota:
Limites des ressources de compilation Dataform
Dataform applique les limites d'utilisation suivantes aux ressources de compilation:
| Limite d'utilisation | Valeur |
|---|---|
| Nombre maximal d'actions par compilation de dépôt | 5000 |
| Nombre maximal de dépendances par action dans le graphique compilé | 50 |
| Taille maximale totale des données sérialisées du graphique d'actions compilé | 20 Mo |
| Taille maximale des dépendances de NPM | 200 Mo |
| Taille maximale d'un dépôt chiffré par CMEK | 512 Mo |
De plus, Dataform impose des limites d'utilisation du processeur et de la mémoire lors de la compilation. Si ces limites sont dépassées lorsque vous compilez votre code, la compilation échoue et Dataform génère une erreur de compilation.
Pour estimer l'utilisation des ressources de compilation de votre dépôt, consultez Estimer l'utilisation des ressources de compilation de votre dépôt.
Votre dépôt peut dépasser les limites d'utilisation pour les raisons suivantes:
- Un bug de boucle infinie dans le code du dépôt.
- Bug de fuite de mémoire dans le code du dépôt.
- Dépôt de grande taille (environ plus de 1 000 nœuds de workflow SQL)
- Nombre élevé de requêtes simultanées.
Pour en savoir plus sur la taille du dépôt dans Dataform, consultez Présentation de la taille du dépôt