À propos de l'autoscaling des instances de conteneur

Dans Cloud Run, chaque révision est automatiquement adaptée au nombre d'instances de conteneur nécessaires pour traiter toutes les requêtes entrantes. Lorsqu'une révision ne reçoit aucun trafic, elle est réduite par défaut à zéro instance de conteneur. Toutefois, si vous le souhaitez, vous pouvez modifier cette valeur par défaut pour spécifier qu'une instance doit rester inactive ou en attente à l'aide du paramètre nombre minimal d'instances.

Outre le taux de requêtes entrantes, le nombre d'instances planifiées est affecté par :

Nombre maximal d'instances de conteneur

Dans certains cas, vous voudrez peut-être limiter le nombre total d'instances de conteneur pouvant être démarrées, pour des raisons de contrôle des coûts ou pour une meilleure compatibilité avec d'autres ressources utilisées par votre service. C'est par exemple le cas si votre service Cloud Run interagit avec une base de données qui ne peut gérer qu'un certain nombre de connexions ouvertes simultanément.

Le nombre maximal d'instances de conteneur est un paramètre permettant de limiter le nombre total d'instances pouvant être démarrées en parallèle, comme indiqué sur la page Définir un nombre maximal d'instances de conteneur.

Dépassement du nombre maximal d'instances

En temps normal, votre révision effectue un scaling horizontal en créant des instances afin de gérer la charge de trafic entrant. Toutefois, lorsque vous définissez une limite maximale du nombre d'instances, le nombre d'instances sera dans certains cas insuffisant pour répondre à cette charge de trafic. Dans ce cas, les requêtes entrantes peuvent être mises en file d'attente pour une durée maximale de 10 secondes. Pendant ce laps de temps, si une instance termine le traitement de requêtes, elle devient disponible pour traiter les requêtes en file d'attente. Si aucune instance ne devient disponible pendant cette période, la requête échoue avec un code d'erreur 429.

Garanties relatives au scaling

Le nombre maximal d'instances constitue une limite supérieure par révision. Si vous définissez une limite élevée, cela ne veut pas dire que votre révision effectuera un scaling horizontal de façon à atteindre le nombre d'instances de conteneur spécifié. Cela signifie simplement que le nombre d'instances de conteneur pour cette révision ne doit pas dépasser la valeur maximale.

Dépassement du nombre maximal d'instances

Dans certains cas (comme lors d'une augmentation soudaine du trafic ou de la maintenance du système), Cloud Run peut créer, pendant une courte durée, un nombre d'instances de conteneur supérieur à celui spécifié dans le paramètre du nombre maximal d'instances. Les nouvelles instances peuvent être démarrées au-delà du paramètre du nombre maximal d'instances pour remplacer les instances existantes et accorder un délai de grâce pour les requêtes en cours afin de terminer leur traitement.

La limite maximale d'instances peut être dépassée dans le cadre d'un fonctionnement normal plusieurs fois par semaine. Le délai de grâce dure généralement 15 minutes ou correspond à la valeur spécifiée dans le paramètre de délai avant expiration de la requête. Ces instances supplémentaires sont détruites dans les 15 minutes suivant leur inactivité.

Si de nombreux remplacements sont nécessaires, les mises à jour sont généralement réparties sur plusieurs minutes ou plusieurs heures, mais chaque remplacement a une instance excédentaire pendant le délai de grâce. Les instances dépassant la valeur maximale sont généralement deux fois moins nombreuses que la limite maximale d'instances configurée, mais peuvent être beaucoup plus importantes en cas de pics de trafic soudains importants.

Dans les tests de charge, un plus grand nombre d'instances dépassent le nombre maximal d'instances, car le système peut modifier l'endroit où les pics de trafic sont diffusés pour préserver la capacité des charges de travail existantes dont les modèles de charge sont soutenus.

Si votre service ne peut pas tolérer ce comportement temporaire, vous pouvez appliquer une marge de sécurité et définir une valeur maximale d'instances inférieure.

Répartition du trafic

La limite maximale du nombre d'instances étant une limite pour chaque révision, si le service répartit le trafic sur plusieurs révisions, le nombre total d'instances du service peut dépasser le nombre maximal d'instances par révision. Cette situation peut être observée dans les métriques du nombre d'instances.

Déploiements

Lorsque vous déployez une nouvelle révision pour diffuser 100 % du trafic, Cloud Run migre progressivement le trafic de la révision qui diffusait précédemment 100 % du trafic vers la nouvelle révision. Comme la limite maximale du nombre d'instances est une limite pour chaque révision, lors d'un déploiement, le nombre total d'instances du service peut dépasser le nombre maximal d'instances par révision. Cette situation peut être observée dans les métriques du nombre d'instances.

Instances inactives et minimisation des démarrages à froid

Cloud Run n'arrête pas immédiatement les instances une fois que toutes les requêtes ont été traitées. Pour minimiser l'impact des démarrages à froid, Cloud Run peut conserver certaines instances inactives pour une durée maximale de 15 minutes. Ces instances sont prêtes à traiter les requêtes en cas d'augmentation soudaine du trafic.

Par exemple, lorsqu'une instance de conteneur a fini de traiter des requêtes, elle peut rester inactive pendant un certain temps au cas où une autre requête devrait être traitée. Une instance de conteneur inactive peut conserver des ressources, telles que des connexions de base de données ouvertes. Notez que le processeur n'est alloué que pendant le traitement des requêtes, sauf si vous configurez explicitement votre service pour une allocation systématique du processeur.

Pour vous assurer que les instances inactives restent disponibles de façon permanente, utilisez le paramètre min-instance. Notez que l'utilisation de cette fonctionnalité entraîne des frais, même si le service ne diffuse pas activement de requêtes.

Étape suivante