Tarifs de Dataflow

Cette page décrit la tarification de Dataflow. Pour les autres produits, consultez la documentation sur les tarifs.

Pour savoir comment économiser 40 % en vous engageant sur trois ans ou 20 % en vous engageant sur un an, consultez notre page sur les remises sur engagement d'utilisation.

Présentation

L'utilisation de Dataflow est facturée en fonction des ressources utilisées par vos jobs. Selon le modèle de tarification que vous utilisez, les ressources sont mesurées et facturées différemment.

Unités de calcul de données (DCU)

(traitement par lots et par flux)

Unités de calcul de données (DCU)

(traitement par lots et par flux)

Les autres ressources Dataflow facturées pour l'ensemble des jobs incluent les disques persistants, les GPU et les instantanés.

Des ressources d'autres services peuvent être utilisées pour le job Dataflow. Les services utilisés avec Dataflow peuvent inclure BigQuery, Pub/Sub, Cloud Storage et Cloud Logging, entre autres.

Bien que le tarif soit calculé sur une base horaire, l'utilisation de Dataflow est facturée par tranche d'une seconde, tâche par tâche. L'utilisation est indiquée en heures afin d'appliquer un tarif horaire à l'utilisation à la seconde près. Par exemple, 30 minutes correspondent à 0,5 heure. Les nœuds de calcul et les jobs peuvent consommer des ressources, tel que décrit dans les sections ci-après.

Les futures versions de Dataflow peuvent présenter des tarifs différents et/ou d'autres types de regroupement de services connexes.

Ressources de calcul Dataflow

La facturation Dataflow pour les ressources de calcul inclut les éléments suivants :

Pour en savoir plus sur les régions disponibles et leurs zones, consultez la page Régions et zones de Compute Engine.

Processeur et mémoire des nœuds de calcul

Chaque tâche Dataflow utilise au moins un nœud de calcul Dataflow. Le service Dataflow fournit deux types de nœuds de calcul : par lot et par flux. Les frais de service pour les nœuds de calcul par flux et par lot sont calculés différemment.

Les nœuds de calcul Dataflow consomment les ressources suivantes, qui sont chacune facturées à la seconde :

  • Processeur
  • Mémoire

Les nœuds de calcul par lot et par flux sont des ressources spécialisées qui utilisent Compute Engine. Toutefois, une tâche Dataflow n'entraîne pas de frais Compute Engine pour les ressources Compute Engine gérées par le service Dataflow. Les tarifs du service Dataflow couvrent l'utilisation de ces ressources Compute Engine.

Vous pouvez remplacer le nombre de nœuds de calcul par défaut pour une tâche. Si vous utilisez l'autoscaling, vous pouvez spécifier le nombre maximal de nœuds de calcul à allouer à un job. Les nœuds de calcul et les ressources associées sont ajoutés et supprimés automatiquement en fonction de l'activation de l'autoscaling.

En outre, vous pouvez utiliser les options de pipeline pour remplacer les paramètres par défaut des ressources (type de machine, type et taille du disque) allouées à chaque nœud de calcul et utiliser des GPU.

FlexRS

Dataflow propose également une option avec des prix réduits pour le processeur et la mémoire dans le cadre du traitement par lot. La planification flexible des ressources (FlexRS) regroupe des VM classiques et préemptives dans un seul pool de nœuds de calcul Dataflow, ce qui permet aux utilisateurs d'accéder à des ressources de traitement moins coûteuses. FlexRS peut également retarder l'exécution d'une tâche par lot Dataflow dans un intervalle de temps de six heures, afin de déterminer le meilleur moment pour démarrer la tâche en fonction des ressources disponibles.

Bien que Dataflow utilise une combinaison de nœuds de calcul pour exécuter une tâche FlexRS, vous êtes facturé à un tarif réduit uniforme d'environ 40 % sur les coûts de processeur et de mémoire par rapport aux prix ordinaires de Dataflow, quel que soit le type de nœud de calcul. Pour demander à Dataflow d'utiliser FlexRS pour vos pipelines par lot avec autoscaling, vous devez spécifier le paramètre FlexRS.

Données Dataflow Shuffle traitées

Pour les pipelines par lot, Dataflow propose une fonctionnalité hautement évolutive, Dataflow Shuffle, qui permet de brasser les données en dehors des nœuds de calcul. Pour en savoir plus, consultez la page Dataflow Shuffle.

Dataflow Shuffle est facturé selon le volume de données traitées lors du brassage.

Tarifs de Streaming Engine

Pour les pipelines de traitement par flux, Dataflow Streaming Engine déplace le traitement du brassage et de l'état des flux de données depuis les VM de nœud de calcul vers le backend du service Dataflow. Pour en savoir plus, consultez la page Streaming Engine.


Unités de calcul Streaming Engine

Avec la facturation basée sur les ressources, les ressources Streaming Engine sont mesurées en unités de calcul Streaming Engine. Dataflow mesure les ressources Streaming Engine utilisées par chaque job, puis facture en fonction du total des ressources utilisées par ce job. Pour activer la facturation basée sur les ressources pour votre job, consultez Utiliser la facturation basée sur les ressources. Lorsque vous utilisez la facturation basée sur les ressources, les remises existantes sont automatiquement appliquées.

Lorsque vous utilisez Dataflow Prime avec la facturation basée sur les ressources, vous êtes facturé en fonction du total des ressources utilisées par chaque job, mais le SKU Unité de calcul des données (DCU) est utilisé à la place du SKU Unité de calcul Streaming Engine.


Données Streaming Engine traitées (ancienne version)

Dataflow continue de prendre en charge la facturation par données traitées (ancienne version). À moins que vous n'activiez la facturation basée sur les ressources, les jobs sont facturés à l'aide de la facturation par données traitées.

La facturation des données traitées par Streaming Engine mesure l'utilisation en fonction du volume de données par flux traitées, qui dépend des facteurs suivants :

  • Le volume de données ingérées dans votre pipeline de traitement par flux
  • La complexité du pipeline
  • Nombre d'étapes de pipeline avec une opération de brassage ou des DoFn avec état

Voici quelques exemples de ce qui est considéré comme un octet traité :

  • Les flux d'entrée proviennent de sources de données.
  • Flux de données d'une étape de pipeline fusionnée à une autre étape fusionnée
  • Flux de données conservés dans un état défini par l'utilisateur ou utilisés pour le fenêtrage
  • Envoyer les messages vers des récepteurs de données, tels que Pub/Sub ou BigQuery

Ressources de calcul Dataflow

Tarification des ressources de calcul Dataflow – Traitement par lot

Le tableau suivant présente les tarifs des ressources de nœud de calcul et des données Shuffle traitées pour Batch.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)

Type de job

Par défaut (USD)

Processeur

0,056 $US / 1 hour
Mémoire0,003557 $US / 1 gibibyte hour

Données traitées pendant le shuffle

0,011 $US / 1 gibibyte

Valeurs par défaut d'un nœud de calcul par lot : 1 processeur virtuel, 3,75 Go de mémoire, disque persistant de 250 Go si Dataflow Shuffle n'est pas utilisé, disque persistant de 25 Go si Dataflow Shuffle est utilisé

Tarification des ressources de calcul Dataflow – FlexRS

Le tableau suivant présente les tarifs des ressources de nœud de calcul et des données Shuffle traitées pour les jobs FlexRS.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)

Ressource

Par défaut (USD)

Processeur

0,0336 $US / 1 hour
Mémoire0,0021342 $US / 1 gibibyte hour

Données traitées pendant le shuffle

0,011 $US / 1 gibibyte

Valeurs par défaut d'un nœud de calcul FlexRS : 2 processeurs virtuels, 7,50 Go de mémoire, disque persistant de 25 Go par nœud de calcul, avec 2 nœuds de calcul au minimum

Tarifs des ressources de calcul Dataflow – Flux de données

Le tableau suivant présente les tarifs des ressources de nœud de calcul, des données traitées par Streaming Engine (ancienne version) et des unités de calcul Streaming Engine pour les jobs de traitement de flux.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Galaxy Frankfurt (europe-west5)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Afficher les options de remise

Ressource

Default* (USD)
Dataflow CUD - 1 Year* (USD)
Dataflow CUD - 3 Year* (USD)

Processeur

0,069 $US / 1 hour0,0552 $US / 1 hour0,0414 $US / 1 hour
Mémoire0,003557 $US / 1 gibibyte hour0,0028456 $US / 1 gibibyte hour0,0021342 $US / 1 gibibyte hour

Données traitées pendant le shuffle

0,018 $US / 1 gibibyte0,0144 $US / 1 gibibyte0,0108 $US / 1 gibibyte

Streaming Engine

0,089 $US / 1 count0,0712 $US / 1 count0,0534 $US / 1 count
* Chaque modèle de consommation est associé à un identifiant unique. Vous devrez peut-être vous inscrire pour être éligible aux remises sur le modèle de consommation. Cliquez ici pour en savoir plus.

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

3 Valeurs par défaut d'un nœud de calcul par flux : 4 processeurs virtuels, 15 Go de mémoire, disque persistant de 400 Go si vous n'utilisez pas Streaming Engine, disque persistant de 30 Go si vous utilisez Streaming Engine. Le service Dataflow est actuellement limité à 15 disques persistants par instance de nœud de calcul lors de l'exécution d'une tâche de traitement en flux continu. L'allocation minimale de ressources est un ratio de 1:1 entre les nœuds de calcul et les disques.

4 Les tarifs de Dataflow Shuffle reposent sur les ajustements de volume appliqués à la quantité de données traitées au cours des opérations de lecture et d'écriture lors du brassage de votre ensemble de données. Pour en savoir plus, consultez la section Détails des tarifs de Dataflow Shuffle. La tarification de Dataflow Shuffle ne s'applique pas aux jobs Streaming Engine qui utilisent la facturation basée sur les ressources.

5 Unités de calcul Streaming Engine : pour les jobs de traitement par flux qui utilisent Streaming Engine et le modèle de facturation basé sur les ressources. Ces jobs ne sont pas facturés pour les données traitées pendant le brassage.

Ajustements du volume de données Dataflow Shuffle traitées

Les frais sont calculés pour chaque job Dataflow, par le biais d'ajustements de volume appliqués à la quantité totale de données traitées lors des opérations Dataflow Shuffle. Votre facture réelle liée aux données traitées par Dataflow Shuffle correspond à un volume de données plus faible (et à plein tarif) que le volume de données réellement traitées par une tâche Dataflow. La différence repose sur le fait que la métrique Données de brassage facturables traitées est inférieure à la métrique Données de brassage totales traitées.

Vous trouverez les explications sur ces ajustements dans le tableau suivant :

Données Dataflow Shuffle traitées

Ajustement de facturation

250 premiers Gio

Réduction de 75 %

4 870 Gio suivants

Réduction de 50 %

Données restantes au-delà de 5 120 Gio (5 Tio)

aucune

Ainsi, si votre pipeline génère 1 024 Gio (1 Tio) de données traitées par Dataflow Shuffle, le montant facturable est calculé comme suit :

250 Gio x 25 % + 774 Gio x 50 % = 449,5 Gio x le taux de traitement de données Dataflow Shuffle régional

Si votre pipeline génère 10 240 Gio (10 Tio) de données traitées par Dataflow Shuffle, le montant facturable est calculé comme suit :

250 Gio * 25 % + 4 870 Gio * 50 % + 5 120 Gio = 7 617,5 Gio

Tarifs des ressources de calcul Dataflow Prime

Dataflow Prime est une plate-forme de traitement des données qui s'appuie sur Dataflow et qui permet d'améliorer l'utilisation des ressources, ainsi que les diagnostics distribués.

Les ressources de calcul utilisées par un job Dataflow Prime sont facturées en fonction du nombre d'unités de calcul des données (DCU). Les DCU représentent les ressources de calcul allouées à l'exécution de votre pipeline.Les autres ressources Dataflow utilisées par les jobs Dataflow Prime, telles que les disques persistants, les GPU et les instantanés, sont facturées séparément.

Pour en savoir plus sur les régions disponibles et leurs zones, consultez la page Régions et zones de Compute Engine.

Unité de calcul de données

Une unité de calcul des données (DCU, Data Compute Unit) est une unité de mesure de l'utilisation de Dataflow qui suit le nombre de ressources de calcul consommées par vos jobs. Les ressources suivies par les DCU incluent les vCPU, la mémoire, les données Dataflow Shuffle traitées (pour les jobs par lots) et les données Streaming Engine traitées (pour les jobs par flux). L'utilisation des DCU est plus élevée pour les jobs qui consomment plus de ressources. Une DCU est comparable aux ressources utilisées par une tâche Dataflow exécutée pendant une heure sur un nœud de calcul de 1 processeur virtuel et de 4 Go.


Facturation par unité de calcul de données

Le nombre total de DCU utilisées par votre job vous est facturé. Le prix d'une seule DCU varie selon que vous avez un job par lot ou un job de traitement de flux. Lorsque vous utilisez Dataflow Prime avec la facturation basée sur les ressources, vous êtes facturé en fonction du total des ressources utilisées, et non des octets traités.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Afficher les options de remise

Type de tâche

Default* (USD)
Dataflow CUD - 1 Year* (USD)
Dataflow CUD - 3 Year* (USD)

Lot

0,06 $US / 1 count--

Streaming

0,089 $US / 1 count0,0712 $US / 1 count0,0534 $US / 1 count
* Chaque modèle de consommation est associé à un identifiant unique. Vous devrez peut-être vous inscrire pour être éligible aux remises sur le modèle de consommation. Cliquez ici pour en savoir plus.

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

Optimiser l'utilisation des DCU

Vous ne pouvez pas définir le nombre de DCU pour vos jobs. Les DCU sont comptabilisées par Dataflow Prime. Toutefois, vous pouvez réduire le nombre de DCU utilisées en gérant les aspects suivants de votre job :

  • Réduction de la consommation de mémoire
  • Réduction de la quantité de données traitées lors des étapes de brassage à l'aide de filtres, de combinaisons et de codeurs efficaces

Pour identifier ces optimisations, utilisez l'interface de surveillance de Dataflow et l'interface des détails de l'exécution.


En quoi la tarification de Dataflow Prime diffère-t-elle de celle de Dataflow ?

Dans Dataflow, les ressources disparates utilisées par vos jobs vous sont facturées : processeurs virtuels, mémoire, disque persistant et quantité de données traitées par Dataflow Shuffle ou Streaming Engine.

Les unités de calcul de données regroupent toutes les ressources, à l'exception du stockage, en une seule unité de mesure. Vous êtes facturé pour les ressources de disque persistant et pour le nombre d'unités de calcul de données (DCU) consommées en fonction du type de job (par lot ou par flux). Pour en savoir plus, consultez la page Utiliser Dataflow Prime.


Que deviendront mes jobs existants qui utilisent le modèle de tarification Dataflow ?

Vos jobs par lot et par flux existants continuent d'être facturés selon le modèle Dataflow. Lorsque vous mettrez à jour vos jobs pour qu'ils utilisent Dataflow Prime, ils utiliseront le modèle de tarification Dataflow Prime, qui facture les ressources Persistent Disk et les DCU consommées.

Autres ressources Dataflow

Le stockage, les GPU, les instantanés et les autres ressources sont facturés de la même manière pour Dataflow et Dataflow Prime.

Tarifs des ressources de stockage

Les ressources de stockage sont facturées au même tarif pour les jobs de traitement par flux, par lot et FlexRS. Vous pouvez utiliser les options de pipeline pour modifier la taille ou le type de disque par défaut. Dataflow Prime facture le disque persistant séparément, selon les tarifs indiqués dans le tableau suivant.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Élément

Par défaut (USD)

Espace de stockage – Disque persistant standard

0,000054 $US / 1 gibibyte hour

Espace de stockage – Disque persistant SSD

0,000298 $US / 1 gibibyte hour

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

Le service Dataflow est actuellement limité à 15 disques persistants par instance de nœud de calcul lors de l'exécution d'une tâche de traitement en flux continu. Chaque disque persistant est local sur une machine virtuelle Compute Engine individuelle. L'allocation minimale de ressources est un ratio de 1:1 entre les nœuds de calcul et les disques.

Les jobs utilisant Streaming Engine nécessitent des disques de démarrage de 30 Go. Les jobs qui utilisent Dataflow Shuffle nécessitent des disques de démarrage de 25 Go. Pour les jobs qui n'utilisent pas ces offres, la taille par défaut de chaque disque persistant est de 250 Go en mode de traitement par lot et de 400 Go en mode de traitement par flux.

L'utilisation de Compute Engine est basée sur le nombre moyen de nœuds de calcul, tandis que l'utilisation des disques persistants est basée sur la valeur exacte de --maxNumWorkers. Les disques persistants sont redistribués de manière à ce que chaque nœud de calcul ait un nombre égal de disques associés.


Tarifs des ressources GPU

Les ressources GPU sont facturées au même tarif pour les jobs de traitement par flux et par lot. FlexRS n'est pas compatible avec les GPU pour le moment. Pour en savoir plus sur les régions et les zones disponibles pour les GPU, consultez la page Disponibilité des GPU dans les régions et zones de la documentation Compute Engine.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Galaxy Frankfurt (europe-west5)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Élément

Par défaut (USD)

GPU NVIDIA® Tesla® P100

1,752 $US / 1 hour

GPU NVIDIA® Tesla® V100

2,976 $US / 1 hour

GPU NVIDIA® Tesla® T4

0,42 $US / 1 hour

GPU NVIDIA® Tesla® P4

0,72 $US / 1 hour

GPU NVIDIA® Tesla® L4

0,672048 $US / 1 hour

GPU NVIDIA® Tesla® A100 (40 Go)

3,72 $US / 1 hour

GPU NVIDIA® Tesla® A100 (80 Go)

4,713696 $US / 1 hour

GPU NVIDIA ® Tesla ® H100

11,7558607 $US / 1 hour

GPU NVIDIA ® Tesla ® H100 Mega

12,4131309 $US / 1 hour

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

Tarifs des ressources TPU

Les ressources TPU sont facturées au même tarif pour les jobs de traitement par flux et par lot. Comme le prix de Dataflow pour les TPU inclut le coût des TPU, des processeurs virtuels et de la mémoire, les nœuds de calcul TPU n'entraînent pas de frais distincts pour les processeurs virtuels et la mémoire dans Dataflow. De plus, FlexRS n'est pas compatible avec les TPU pour le moment. Pour en savoir plus sur les régions et les zones disponibles pour les TPU, consultez la page Régions et zones TPU dans la documentation Compute Engine. Pour utiliser des TPU dans Dataflow, veuillez contacter l'équipe chargée de votre compte.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Élément

Par défaut (USD)

TPU V5E

1,44 $US / 1 hour

TPU V5P

5,04 $US / 1 hour

TPU V6E

3,24 $US / 1 hour

Primes de gestion pour les réservations de GPU/TPU

Lorsque vous utilisez des réservations de GPU ou de TPU Compute Engine spécifiquement ciblées avec Dataflow, vous êtes facturé selon les tarifs Compute Engine, y compris les remises sur engagement d'utilisation applicables. Vous êtes également facturé d'une prime de gestion pour les ressources de calcul consommées dans Dataflow. Pour en savoir plus, consultez Utiliser des réservations Compute Engine avec Dataflow.

Le tableau ci-dessous présente les primes de gestion pour les ressources de calcul consommées lors de l'utilisation de réservations de GPU ou de TPU Compute Engine dans Dataflow. Veuillez noter que les remises sur engagement d'utilisation de Dataflow pour le traitement par flux ne s'appliquent qu'aux frais supplémentaires de gestion du processeur et de la mémoire pour les jobs de traitement par flux.

Primes de gestion pour les réservations de GPU/TPU – streaming

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Afficher les options de remise

Ressource

Default* (USD)
Dataflow CUD - 1 Year* (USD)
Dataflow CUD - 3 Year* (USD)

CPU Premium

0,0178405 $US / 1 hour0,0142724 $US / 1 hour0,0107043 $US / 1 hour

Memory Premium

0,0020901 $US / 1 gibibyte hour0,00167208 $US / 1 gibibyte hour0,00125406 $US / 1 gibibyte hour
* Chaque modèle de consommation est associé à un identifiant unique. Vous devrez peut-être vous inscrire pour être éligible aux remises sur le modèle de consommation. Cliquez ici pour en savoir plus.

Primes de gestion pour les réservations de GPU/TPU – traitement par lot, GPU et TPU

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Galaxy Frankfurt (europe-west5)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)

Ressource

Prix (USD)

Batch CPU Premium

0,0111508 $US / 1 hour

Batch Memory Premium

0,0013063 $US / 1 gibibyte hour

GPU V100 Premium

0,496 $US / 1 hour

GPU P100 Premium

0,292 $US / 1 hour

GPU T4 Premium

0,07 $US / 1 hour

GPU L4 Premium

0,112008 $US / 1 hour

GPU A100 40 Go Premium

0,5867816 $US / 1 hour

GPU A100 80 Go Premium

0,785616 $US / 1 hour

GPU H100 Premium

1,9593101 $US / 1 hour

H100 Mega GPU Premium

2,0688551 $US / 1 hour

TPU v5e Premium

0,24 $US / 1 hour

TPU V5P Premium

0,84 $US / 1 hour

TPU V6E Premium

0,54 $US / 1 hour

Instantanés

Pour vous aider à gérer la fiabilité de vos pipelines de traitement en flux continu, vous pouvez utiliser des instantanés pour enregistrer et restaurer l'état de votre pipeline. L'utilisation de l'instantané est facturée en fonction du volume de données stockées, qui dépend des facteurs suivants :

  • Le volume de données ingérées dans votre pipeline de traitement par flux
  • Votre logique de fenêtrage
  • Le nombre d'étapes du pipeline

Vous pouvez prendre un instantané de votre job par flux à l'aide de la console Dataflow ou de Google Cloud CLI. La création d'un job à partir de votre instantané n'entraîne aucuns frais supplémentaires pour restaurer l'état du pipeline. Pour en savoir plus, consultez la page Utiliser des instantanés Dataflow.


Tarifs applicables aux instantanés

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Élément

Par défaut (USD)

Stockage

0,000205479 $US / 1 gibibyte hour

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

Confidential VMs

Confidential VM pour Dataflow chiffre les données utilisées sur les VM Compute Engine de nœud de calcul. Pour en savoir plus, consultez la présentation de Confidential VM.

L'utilisation de Confidential VMs pour Dataflow entraîne des coûts forfaitaires supplémentaires par vCPU et par Go.


Tarifs de Confidential VM

Les prix sont mondiaux et ne changent pas en fonction de la région Google Cloud.

Élément

Par défaut (USD)

Processeur

0,005479 $US / 1 hour
Mémoire0,0007342 $US / 1 gibibyte hour

Ressources non Dataflow

En plus de l'utilisation de Dataflow, une tâche peut consommer les ressources suivantes, chacune faisant l'objet d'une facturation spécifique, y compris, mais sans s'y limiter :

Afficher l'utilisation des ressources

Toutes les données sur l'utilisation des ressources de type processeur virtuel, mémoire et disque persistant associées à une tâche sont disponibles dans le panneau Infos sur le job sous Métriques de ressources. Vous pouvez suivre les métriques suivantes dans l'interface de surveillance de Dataflow :

  • Temps total de processeurs virtuels
  • Temps total d'utilisation de la mémoire
  • Temps total d'utilisation des disques persistants
  • Volume total de flux de données traités
  • Volume total des données traitées par Shuffle
  • Volume facturable des données traitées par Shuffle

Vous pouvez utiliser la métrique Total shuffle data processed (Total des données traitées par Shuffle) pour évaluer les performances de votre pipeline et la métrique Billable shuffle data processed (Données facturables traitées par Shuffle) pour déterminer les coûts du job Dataflow.

Pour Dataflow Prime, vous pouvez consulter le nombre total de DCU consommées par un job dans le panneau Informations sur le job sous Métriques de ressources.

Simulateur de coût

Le simulateur de coût Google Cloud vous permet de comprendre les modalités de calcul de votre facture.

Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page relative aux SKU de Cloud Platform s'appliquent.

Étapes suivantes

Demander un devis personnalisé

Avec le paiement à l'usage de Google Cloud, vous ne payez que pour les services que vous utilisez. Contactez notre équipe commerciale pour obtenir un devis personnalisé pour votre entreprise.
  • Faites des économies grâce à notre approche transparente concernant la tarification
  • Le paiement à l'usage de Google Cloud permet de réaliser des économies automatiques basées sur votre utilisation mensuelle et des tarifs réduits pour les ressources prépayées. Contactez-nous dès aujourd'hui afin d'obtenir un devis.
Google Cloud