Utilisation de la bande passante dans Cloud Storage

Cette page explique comment surveiller les taux d'utilisation des données de vos buckets Cloud Storage et comment demander une bande passante de sortie supplémentaire pour différents quotas si vous avez besoin d'un quota supérieur au quota par défaut.

Introduction

  • La bande passante de sortie fait référence à la vitesse à laquelle les données sont extraites de vos buckets lors de l'exécution des requêtes adressées à Cloud Storage.

    • La bande passante de sortie Google fait référence aux données récupérées à partir de vos buckets destinés à d'autres services Google, tels que Compute Engine.

    • Bande passante de sortie Internet désigne les données extraites de vos buckets qui sont diffusées sur Internet, telles que les données téléchargées directement sur votre ordinateur local ou les données récupérées par Cloud CDN pour la diffusion sur Internet.

  • La sortie réseau fait référence au débit auquel les données sont envoyées sur le réseau depuis vos buckets vers les demandeurs.

En fonctionnement normal, la bande passante de sortie et la sortie réseau sont généralement identiques. Cependant, dans certains cas, la bande passante de sortie peut être nettement supérieure à la sortie réseau. Les connexions interrompues, les requêtes annulées et les requêtes partielles sont des cas où les données récupérées peuvent être supérieures à celles envoyées.

Surveillance de la bande passante

Cloud Storage intègre une surveillance de la bande passante pour vous permettre de surveiller l'utilisation de bande passante entre les buckets de votre projet et d'autres services Google Cloud. La surveillance de la bande passante est agrégée par région et suit l'utilisation des 6 dernières semaines.

Pour bénéficier de la surveillance de la bande passante :

  • Le service Cloud Storage storage.googleapis.com doit être activé pour votre projet.

  • L'utilisation doit être associée à des ressources Google Cloud autres que des buckets Cloud Storage.

  • Si le bucket est situé dans une région, l'utilisation doit être associée à des ressources situées dans la même région.

  • Si le bucket est situé dans une zone birégionale, l'utilisation doit être associée à des ressources situées dans l'une des régions qui composent la zone.

  • L'utilisation doit provenir d'une requête GET Object de l'API JSON ou d'une requête GET Object de l'API XML.

Pour surveiller l'utilisation de la bande passante, procédez comme suit :

Console

Vous pouvez consulter l'utilisation de la bande passante de sortie Google pour la région et des buckets birégionaux de votre projet sur la page de surveillance de Cloud Storage :

Accéder à la surveillance de la bande passante dans Cloud Storage

De plus, vous pouvez afficher l'utilisation de cette bande passante de sortie et d'autres bandes passantes pour les buckets de votre projet à l'aide de la page Quotas et limites du système avec le nom approprié :

  • La bande passante de sortie Google par seconde et par région surveille l'utilisation de la bande passante de sortie Google pour les buckets régionaux et birégionaux de votre projet.

  • La bande passante de sortie Google birégionale par seconde, par région et par emplacement birégional surveille l'utilisation de la bande passante de sortie Google pour les buckets birégionaux de votre projet.

  • La bande passante de sortie Google multirégionale par seconde et par région surveille l'utilisation de la bande passante de sortie Google pour les buckets multirégionaux de votre projet.

  • La bande passante de sortie Internet par seconde et par région surveille l'utilisation de la bande passante de sortie Internet pour les buckets régionaux et birégionaux de votre projet.

  • La bande passante de sortie Internet birégionale par seconde, par région et par emplacement birégional surveille l'utilisation de la bande passante de sortie Internet pour les buckets birégionaux de votre projet.

  • La bande passante de sortie Internet multirégionale par seconde et par région surveille l'utilisation de la bande passante de sortie Internet pour les buckets multirégionaux de votre projet.

Pour en savoir plus, consultez la page Afficher et gérer les quotas.

Ligne de commande

  1. Exécutez la commande suivante pour renvoyer des informations sur le quota Cloud Storage du projet souhaité :

    gcloud alpha services quota list --service=storage.googleapis.com --consumer=projects/PROJECT_ID

    Où PROJECT_ID est l'ID de projet souhaité.

  2. Dans la réponse YAML, recherchez les éléments suivants :

    • storage.googleapis.com/google_egress_bandwidth, pour l'utilisation de Google en sortie à partir de vos régions et buckets birégionaux.

    • storage.googleapis.com/dualregion_google_egress_bandwidth pour l'utilisation de Google en sortie depuis vos buckets birégionaux.

    • storage.googleapis.com/multiregion_google_egress_bandwidth, pour l'utilisation de Google en sortie depuis vos buckets multirégionaux.

    • storage.googleapis.com/internet_egress_bandwidth pour l'utilisation d'Internet en sortie depuis votre région et vos buckets birégionaux.

    • storage.googleapis.com/dualregion_internet_egress_bandwidth pour l'utilisation d'Internet en sortie depuis vos buckets birégionaux.

    • storage.googleapis.com/multiregion_internet_egress_bandwidth pour l'utilisation d'Internet en sortie depuis vos buckets multirégionaux.

Pour en savoir plus, consultez la page Gérer votre quota à l'aide de Google Cloud CLI.

API JSON

Pour en savoir plus concernant la récupération automatisée des informations de séries temporelles pour les quotas non birégionaux, consultez la commande ListTimeSeries en utilisant les valeurs suivantes pour filter :

  • metric.type="serviceruntime.googleapis.com/quota/rate/net_usage"

  • resource.type="consumer_quota"

  • Choisissez l'une des options suivantes :

    • metric.label.quota_metric="storage.googleapis.com/google_egress_bandwidth" pour l'utilisation de Google en sortie depuis votre région et vos buckets birégionaux.

    • metric.label.quota_metric="storage.googleapis.com/internet_egress_bandwidth" pour l'utilisation d'Internet en sortie depuis votre région et vos buckets birégionaux.

    • metric.label.quota_metric="storage.googleapis.com/multiregion_google_egress_bandwidth" pour l'utilisation de Google en sortie depuis vos buckets multirégionaux.

    • metric.label.quota_metric="storage.googleapis.com/multiregion_internet_egress_bandwidth" pour l'utilisation d'Internet en sortie depuis vos buckets multirégionaux.

Pour en savoir plus concernant la récupération automatisée des informations de séries temporelles pour les quotas birégionaux, consultez la commande ListTimeSeries en utilisant les valeurs suivantes pour filter :

  • resource.type="storage.googleapis.com/Project"

  • Choisissez l'une des options suivantes :

    • metric.type="storage.googleapis.com/quota/dualregion_google_egress_bandwidth/usage" pour l'utilisation de Google en sortie depuis vos buckets birégionaux.

    • metric.type="storage.googleapis.com/quota/dualregion_internet_egress_bandwidth/usage" pour l'utilisation d'Internet en sortie depuis vos buckets birégionaux.

Alertes de surveillance

Vous pouvez utiliser des règles d'alerte Monitoring pour être averti lorsque des métriques telles que storage.googleapis.com/google_egress_bandwidth, storage.googleapis.com/dualregion_google_egress_bandwidth et storage.googleapis.com/multiregion_google_egress_bandwidth approchent d'une limite de quota.

Surveillance du réseau

En plus de la surveillance de la bande passante de Cloud Storage, vous pouvez utiliser la métrique network/sent_bytes_count pour mesurer la sortie réseau Cloud Storage. Cela permet d'estimer l'utilisation de bande passante pour des buckets spécifiques, car la surveillance de la bande passante suit l'utilisation de la bande passante par emplacement et par projet.

Lorsque vous utilisez cette métrique de mise en réseau, gardez à l'esprit les points suivants :

  • network/sent_bytes_count utilise des octets dans ses mesures, tandis que les métriques réseau classiques utilisent souvent des bits. Par exemple, une mesure de 1 Gio pour network/sent_bytes_count est équivalente à 8 Gbit/s.

  • network/sent_bytes_count suit tout le trafic envoyé sur le réseau, pas seulement la sortie vers les services Google Cloud colocalisés. Ainsi, network/sent_bytes_count est généralement supérieur à l'utilisation de la bande passante.

    • Dans certains cas, network/sent_bytes_count peut être inférieur à l'utilisation de la bande passante en raison d'événements tels que des connexions interrompues, des requêtes annulées et des requêtes partielles.

  • Les métriques network/sent_bytes_count sont échantillonnées toutes les 60 secondes. Si le trafic est irrégulier, il est possible que les requêtes soient limitées pendant une courte période, même si la sortie moyenne de plus de 60 secondes est inférieure à la limite.

Demander plus de bande passante

Les instructions suivantes s'appliquent pour les demandes d'augmentation de bande passante en sortie jusqu'à 1 Tbit/s pour les buckets Cloud Storage :

  1. Assurez-vous d'avoir activé le service Cloud Storage storage.googleapis.com.

  2. Dans la console Google Cloud, accédez à la page Quotas et limites du système pour IAM.

    Accéder à la page du navigateur

  3. Dans la barre de recherche Filtre, sélectionnez la propriété Métrique, puis recherchez la métrique pour laquelle vous demandez une augmentation:

    • Utilisez storage.googleapis.com/google_egress_bandwidth pour augmenter la sortie Google pour votre région et votre bucket birégional.

    • Utilisez storage.googleapis.com/internet_egress_bandwidth pour augmenter la sortie Internet pour votre région et votre bucket birégional.

    • Utilisez storage.googleapis.com/multiregion_google_egress_bandwidth pour augmenter la sortie Google pour vos buckets multirégionaux.

    • Utilisez storage.googleapis.com/multiregion_internet_egress_bandwidth pour augmenter la sortie Internet de vos buckets multirégionaux.

  4. Dans la liste des résultats, cochez les cases correspondant aux emplacements dans lesquels vous souhaitez augmenter la bande passante de sortie.

  5. Cliquez sur Modifier les quotas.

  6. Saisissez le quota de votre choix et la justification de l'entreprise.

  7. Cliquez sur Envoyer la requête.

Pour les besoins en bande passante supérieurs à 1 Tbit/s pour la sortie des buckets dans des régions et des emplacements birégionaux, contactez votre responsable de compte technique ou votre représentant Google. Les demandes d'augmentation supérieures à 1 Tbit/s en sortie à partir de buckets situés dans des emplacements multirégionaux ne sont pas acceptées.

Étapes suivantes