Quotas et limites

Quotas

Le service géré Cloud Dataflow possède les limites de quota suivantes :

  • Chaque utilisateur peut générer jusqu'à 3 000 000 de requêtes par minute.
  • Chaque tâche Cloud Dataflow peut utiliser au maximum 1 000 instances Compute Engine.
  • Chaque projet Google Cloud Platform peut exécuter 25 tâches Cloud Dataflow simultanées.
  • Chaque organisation peut exécuter 125 tâches Cloud Dataflow simultanées.
  • Chaque utilisateur peut générer jusqu'à 15 000 requêtes de surveillance par minute.
  • Chaque projet Google Cloud Platform dispose de 160 emplacements Shuffle permettant de mélanger environ 50 To de données simultanément.
  • Chaque projet Google Cloud Platform se voit attribuer 60 Go par minute et par région Cloud de débit Streaming Engine pour l'envoi de données entre les instances Compute Engine et Streaming Engine.

Vous pouvez vérifier votre utilisation actuelle du quota spécifique à Cloud Dataflow :

  1. Dans la console Google Cloud Platform, accédez à APIs & services (API et services).
    Accéder à APIs & services (API et services)
  2. Cliquez sur Tableau de bord.
  3. Cliquez sur Dataflow API (API Dataflow).
  4. Cliquez sur Quotas.
    Par exemple, pour consulter votre utilisation actuelle du quota d'emplacements Shuffle, recherchez le tableau Shuffle slots (Emplacements Shuffle) sur la page Quotas.
    Shuffle slots (Emplacements Shuffle) dans la page Quotas

Le service Cloud Dataflow utilise différents composants de GCP, tels que BigQuery, Cloud Storage, Cloud Pub/Sub et Compute Engine. Ces services (et d'autres services GCP) utilisent des quotas pour limiter la quantité maximale de ressources que vous pouvez utiliser au sein d'un projet. Lorsque vous utiliserez Cloud Dataflow, vous devrez peut-être ajuster vos paramètres de quota pour ces services.

Quotas de Compute Engine

Lorsque vous exécutez votre pipeline sur le service Cloud Dataflow, Cloud Dataflow crée des instances Compute Engine pour exécuter le code associé.

Le quota de Compute Engine est spécifié par région. Passez en revue le quota Compute Engine de votre projet, et demandez les ajustements suivants, si nécessaire :

  • Processeurs : Les types de machine par défaut pour Cloud Dataflow sont n1-standard-1 pour les lots et n1-standard-4 pour le streaming. FlexRS utilise par défaut des machines n1-standard-2. Pendant la période de disponibilité en version bêta, FlexRS utilise 90 % de VM préemptives et 10 % de VM standards. Compute Engine calcule le nombre de processeurs en additionnant le nombre total de processeurs de chaque instance. Par exemple, l'exécution de 10 instances n1-standard-4 équivaut à 40 processeurs. Consultez la rubrique Types de machine Compute Engine pour une mise en correspondance des types de machine avec le nombre de processeurs.
  • Adresses IP en cours d'utilisation : Le nombre d'adresses IP en cours d'utilisation dans votre projet doit être suffisant pour accueillir le nombre d'instances de votre choix. Pour utiliser 10 instances Compute Engine, vous aurez besoin de 10 adresses IP en cours d'utilisation.
  • Disque persistant : Cloud Dataflow associe un disque persistant à chaque instance.
    • La taille de disque par défaut est de 250 Go pour les lots et de 420 Go pour le streaming. Pour 10 instances, vous aurez besoin par défaut de 2 500 Go de disque persistant pour une tâche par lots.
    • La taille de disque par défaut est de 25 Go pour les pipelines par lots Cloud Dataflow Shuffle.
    • La taille de disque par défaut est de 30 Go pour les pipelines de streaming Streaming Engine.
  • Groupes d'instances gérés : Cloud Dataflow déploie vos instances de Compute Engine en tant que groupe d'instances géré. Vous devez vous assurer que le quota associé suivant est disponible :
    • Un groupe d'instances par tâche Cloud Dataflow
    • Un groupe d'instances géré par tâche Cloud Dataflow
    • Un modèle d'instance par tâche Cloud Dataflow

Quotas supplémentaires

Suivant les sources et récepteurs que vous utilisez, vous aurez peut-être également besoin de quotas supplémentaires.

  1. Cloud Pub/Sub : Si vous utilisez Cloud Pub/Sub, vous aurez peut-être besoin d'un quota supplémentaire. Lors de la planification d'un quota, notez que le traitement d'un message provenant de Cloud Pub/Sub implique 3 opérations. Si vous utilisez des horodatages personnalisés, vous devez doubler le nombre d'opérations prévues, car Cloud Dataflow créera un abonnement distinct pour suivre les horodatages personnalisés.
  2. BigQuery : Si vous utilisez l'API de streaming pour BigQuery, des limites de quota et autres restrictions s'appliquent.

Limites

Cette section décrit les limites de production pratiques pour Cloud Dataflow.

Limite Volume
Nombre maximum de nœuds de calcul par pipeline. 1 000
Taille maximale pour une demande de création de tâche. Les descriptions de pipeline comportant de nombreuses étapes et des noms très détaillés peuvent atteindre cette limite. 10 Mo
Nombre maximum de fragments d'entrées secondaires. 20 000
Taille maximale pour une valeur d'élément unique dans Streaming Engine. 100 Mo
Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.