Tarifs de Dataflow
Cette page décrit la tarification de Dataflow. Pour les autres produits, consultez la documentation sur les tarifs.
Découvrir comment économiser 40% avec un engagement de trois ans ou 20% avec un engagement d'un an consultez la page Remises sur engagement d'utilisation.
Présentation
L'utilisation de Dataflow est facturée en fonction des ressources utilisées par vos jobs. Selon votre modèle de tarification, les ressources sont mesurées et facturées différemment.
| Ressources de calcul Dataflow | Ressources de calcul Dataflow Prime |
|
Unités de calcul de données (DCU) (par lot et par flux) |
Autres ressources Dataflow facturés pour l'ensemble des jobs incluent Persistent Disk, les GPU et les instantanés.
Les ressources d'autres services peuvent être utilisées pour le Dataflow d'un projet. Les services utilisés avec Dataflow peuvent inclure BigQuery, Pub/Sub, Cloud Storage et Cloud Logging, entre autres.
Bien que le tarif soit basé sur l'heure, Dataflow l'utilisation est facturée par tranches d'une seconde et par job. L'utilisation est indiquées en heures afin d'appliquer une tarification horaire à l'utilisation à la seconde près. Par exemple, 30 minutes correspondent à 0,5 heure. Les nœuds de calcul et les jobs peuvent consommer des ressources décrites dans les sections suivantes.
Les futures versions de Dataflow peuvent présenter des frais de service différents ou des offres groupées pour les services associés.
Ressources de calcul Dataflow
Facturation Dataflow pour les ressources de calcul inclut les composants suivants:
- Processeur et mémoire des nœuds de calcul
- Données Dataflow Shuffle traitées pour les charges de travail par lot
- Unités de calcul Streaming Engine
- Données Streaming Engine traitées
Pour en savoir plus sur les régions disponibles et leurs zones, consultez les Régions et zones Compute Engine .
Processeur et mémoire des nœuds de calcul
Chaque tâche Dataflow utilise au moins un nœud de calcul Dataflow. Le service Dataflow fournit deux types de nœuds de calcul : par lot et par flux. Les frais de service des nœuds de calcul par lot et par flux sont distincts.
Les nœuds de calcul Dataflow consomment les ressources suivantes, chacune facturée par seconde:
- Processeur
- Mémoire
Les nœuds de calcul par lot et par flux sont des ressources spécialisées qui utilisent Compute Engine. Toutefois, un job Dataflow n'émet pas Facturation de Compute Engine pour les ressources Compute Engine gérées par le service Dataflow. À la place, le service Dataflow les frais couvrent l'utilisation de ces ressources Compute Engine.
Vous pouvez remplacer le nombre de nœuds de calcul par défaut pour une tâche. Si vous utilisez autoscaling, vous pouvez spécifier le nombre maximal de nœuds de calcul à allouer à une tâche. Nœuds de calcul et les ressources correspondantes sont ajoutées et supprimées automatiquement l'activation de l'autoscaling.
De plus, vous pouvez utiliser options de pipeline pour remplacer les paramètres de ressources par défaut, tels que le type de machine, le type de disque et le type allouée à chaque nœud de calcul et qui utilisent des GPU.
FlexRS
Dataflow offre une option avec des remises sur le processeur et la mémoire pour le traitement par lot. La planification flexible des ressources (FlexRS) regroupe des VM classiques et préemptives dans un seul pool de nœuds de calcul Dataflow, ce qui permet aux utilisateurs d'accéder à des ressources de traitement moins coûteuses. FlexRS peut également retarder l'exécution d'une tâche par lot Dataflow dans un intervalle de temps de six heures, afin de déterminer le meilleur moment pour démarrer la tâche en fonction des ressources disponibles.
Bien que Dataflow utilise une combinaison de nœuds de calcul pour exécuter un job FlexRS, vous êtes facturé un tarif réduit d'environ 40% sur le coût du processeur et de la mémoire par rapport au coût les tarifs de Dataflow, quels que soient le type de nœud de calcul. Pour demander à Dataflow d'utiliser FlexRS pour vos pipelines par lot avec autoscaling, vous devez spécifier le paramètre FlexRS.
Données Dataflow Shuffle traitées
Pour les pipelines de traitement par lot, Dataflow fournit une fonctionnalité hautement évolutive, Dataflow Shuffle, qui brasse les données en dehors des nœuds de calcul Pour en savoir plus, consultez Dataflow Shuffle.
Dataflow Shuffle est facturé en fonction du volume de données pendant le brassage.
Tarifs de Streaming Engine
Pour les pipelines de traitement par flux, Dataflow Streaming Engine le traitement du brassage et de l'état en flux continu depuis les VM de nœud de calcul vers backend du service Dataflow. Pour en savoir plus, consultez Streaming Engine :
Unités de calcul Streaming Engine
Avec la facturation basée sur les ressources, les ressources Streaming Engine sont mesurées en Unités de calcul Streaming Engine. Dataflow mesure les ressources Streaming Engine utilisées par chaque job puis facture en fonction du nombre total de ressources utilisées par ce job. Pour activer la facturation basée sur les ressources pour votre job, consultez la page Utilisez la facturation basée sur les ressources. Lorsque vous utilisez la facturation basée sur les ressources, les remises existantes sont automatiquement appliquées.
Lorsque vous utilisez Dataflow Prime avec une facturation basée sur les ressources, vous êtes facturé en fonction sur le total des ressources utilisées par chaque job, mais Le SKU Data Compute Unit (DCU) est utilisé à la place du SKU SKU d'unité de calcul Streaming Engine.
Données Streaming Engine traitées (ancienne version)
Dataflow continue sont compatibles avec l'ancien système de facturation. À moins que vous Activer la facturation basée sur les ressources sont facturés selon la méthode de facturation du traitement des données.
La facturation de Streaming Engine avec les données traitées mesure l'utilisation en fonction du volume de flux de données traités, qui dépend des facteurs suivants:
- Le volume de données ingérées dans votre pipeline de traitement par flux
- Complexité du pipeline
- Nombre d'étapes de pipeline avec une opération de brassage ou avec DoFns avec état
Voici quelques exemples de ce qui est comptabilisé comme un octet traité:
- Flux d'entrées des sources de données
- Flux de données d'une étape fusionnée d'un pipeline vers une autre
- Flux de données conservés dans un état défini par l'utilisateur ou utilisés pour le fenêtrage
- Messages de sortie vers des récepteurs de données, tels que Pub/Sub ou BigQuery
Tarifs des ressources de calcul Dataflow - par lot et FlexRS
Le tableau suivant contient le détail des tarifs des ressources de nœuds de calcul et de Shuffle les données traitées pour les jobs par lot et FlexRS.
1 Valeurs par défaut d'un nœud de calcul par lot: 1 processeur virtuel, 3,75 Go de mémoire, disque persistant de 250 Go si vous n'utilisez pas Dataflow Brassage, disque persistant de 25 Go si vous utilisez Dataflow Shuffle
2 Valeurs par défaut d'un nœud de calcul FlexRS : 2 processeurs virtuels, 7,50 Go de mémoire, disque persistant de 25 Go par nœud de calcul, avec 2 nœuds de calcul au minimum
Tarifs des ressources de calcul Dataflow : flux de données
Le tableau suivant présente le détail des tarifs des ressources de nœuds de calcul, des flux de données Données Google Engine traitées (anciennes) et unités de calcul Streaming Engine pour le traitement par flux emplois.
3 Valeurs par défaut d'un nœud de calcul par flux: 4 processeurs virtuels, 15 Go de mémoire, disque persistant de 400 Go si vous n'utilisez pas Streaming Engine, un disque persistant de 30 Go si vous utilisez Streaming Engine La Le service Dataflow est actuellement limité à 15 disques persistants par instance de nœud de calcul lorsque l'exécution d'un job en flux continu. L'allocation minimale de ressources est un ratio de 1:1 entre les nœuds de calcul et les disques.
4 Les tarifs de Dataflow Shuffle sont basés sur les ajustements de volume appliqués à la quantité de données traitées. pendant les opérations de lecture et d'écriture tout en brassant votre ensemble de données. Pour en savoir plus, consultez le détail des tarifs de Dataflow Shuffle. La tarification de Dataflow Shuffle ne s'applique pas aux jobs Streaming Engine qui utilisent la facturation basée sur les ressources.
5 Unités de calcul Streaming Engine: pour les tâches de traitement par flux qui utilisent Streaming Engine et le modèle de facturation basé sur les ressources Ces tâches ne sont pas facturées pour les données traitées lors du brassage.
Ajustements de volume pour les données Dataflow Shuffle traitées
Les frais sont calculés par job Dataflow grâce à des ajustements de volume appliqués à la quantité totale de données traitées lors des opérations Dataflow Shuffle. Votre facture réelle liée aux données traitées par Dataflow Shuffle correspond à un volume de données plus faible (et à plein tarif) que le volume de données réellement traitées par une tâche Dataflow. Par conséquent, données de brassage des données facturables traitées étant inférieure à la valeur nombre total de données traitées par brassage.
Vous trouverez les explications sur ces ajustements dans le tableau suivant :
| Données Dataflow Shuffle traitées | Ajustement de facturation |
| 250 premiers Go | Réduction de 75 % |
| 4 870 Go suivants | Réduction de 50 % |
| Données restantes au-delà de 5 120 Go (5 To) | aucun |
Par exemple, si votre pipeline génère 1 024 Go (1 To) de données Dataflow Shuffle traitées au total, le montant facturable est calculé comme suit:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Si votre pipeline génère 10 240 Go (10 To) de données Dataflow Shuffle traitées au total, la quantité de données facturable est la suivante:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Tarifs des ressources de calcul Dataflow Prime
Dataflow Prime est une plate-forme de traitement des données qui s'appuie sur Dataflow d'amélioration de l'utilisation des ressources et des diagnostics distribués.
Les ressources de calcul utilisées par un job Dataflow Prime sont facturées en fonction du nombre de Unités de calcul (DCU). Les DCU représentent les ressources de calcul allouées pour exécuter votre pipeline. Autres ressources Dataflow utilisés par les jobs Dataflow Prime, tels que les disques persistants, les GPU et les instantanés, sont facturés séparément.
Pour en savoir plus sur les régions disponibles et leurs zones, consultez les Régions et zones Compute Engine .
Unité de calcul des données
Une unité de calcul de données (DCU, Data Compute Unit) est une unité de mesure de l'utilisation de Dataflow qui permet de suivre le nombre de ressources de calcul consommées par vos jobs. Ressources suivies par les unités de calcul de données incluent les vCPU, la mémoire, les données Dataflow Shuffle traitées (pour les jobs par lot) et les données Streaming Engine traitées (pour les jobs de traitement par flux). Emplois utilisant davantage de ressources utilisent davantage de unités de calcul de données que les jobs qui consomment moins de ressources. Une DCU est comparable aux ressources utilisées Job Dataflow qui s'exécute pendant une heure sur un nœud de calcul avec 1 vCPU et 4 Go.
Facturation des unités de calcul de données
Vous êtes facturé pour le nombre total d'unités de calcul de données utilisées par votre job. Le prix d'une unité de calcul de données varie selon que vous un job par lot ou un job par flux. Lorsque vous utilisez Dataflow Prime avec la facturation basée sur les ressources, facturé en fonction du total des ressources utilisées au lieu du traitement des octets.
Optimiser l'utilisation des unités de calcul de données
Vous ne pouvez pas définir le nombre d'unités de calcul de données pour vos jobs. Les unités de calcul de données sont comptabilisées par Dataflow Prime. Vous pouvez toutefois réduire le nombre d'unités de calcul de données utilisées en gérant les aspects de votre travail:
- Réduire la consommation de mémoire
- Réduire la quantité de données traitées lors des étapes de brassage à l'aide de filtres, de combinaisons et de codeurs efficaces
Pour identifier ces optimisations, utilisez le Interface de surveillance Dataflow et l'interface des détails de l'exécution.
En quoi la tarification Dataflow Prime est-elle différente de celle de Dataflow ?
Dans Dataflow, les ressources disparates vous sont facturées consommées par vos jobs, comme les vCPU, la mémoire, le disque persistant et la quantité de données traitées Dataflow Shuffle ou Streaming Engine.
Les unités de calcul de données consolident toutes les ressources, à l'exception du stockage, dans un unité de mesure unique. Vous êtes facturé pour les ressources de disque persistant Nombre d'unités de calcul de données consommées en fonction du type de job (lot ou flux). Pour en savoir plus, consultez la page Utiliser Dataflow Prime.
Qu'adviendra-t-il de mes jobs existants utilisant le modèle de tarification Dataflow ?
Vos tâches par lot et par flux existantes continuent d'être facturées à l'aide du Modèle Dataflow. Lorsque vous mettez à jour vos jobs utiliser Dataflow Prime, les jobs Ensuite, ils utilisent le modèle de tarification Dataflow Prime, pour lequel le disque persistant est facturé. et les unités de calcul de données utilisées.
Autres ressources Dataflow
Le stockage, les GPU, les instantanés et les autres ressources sont facturés de la même façon pour Dataflow et Dataflow Prime.
Tarifs des ressources de stockage
Les ressources de stockage sont facturées au même tarif pour les flux, les lots et FlexRS. emplois. Vous pouvez utiliser options de pipeline pour modifier la taille ou le type de disque par défaut. Dataflow Prime facture le disque persistant séparément, en fonction des tarifs indiqués dans le dans le tableau suivant.
Le service Dataflow est actuellement limité à 15 disques persistants par instance de nœud de calcul lors de l'exécution d'un job en flux continu. Chaque disque persistant est local sur une machine virtuelle Compute Engine individuelle. Un ratio de 1:1 entre nœuds de calcul et disques est l'attribution minimale de ressources.
Les jobs utilisant Streaming Engine utilisent 30 Go disques de démarrage. Jobs utilisant Dataflow Shuffle utilisent des disques de démarrage de 25 Go. Pour les emplois qui n'utilisent pas ces offres, le la taille par défaut de chaque disque persistant est de 250 Go en mode de traitement par lot et 400 Go en mode de traitement par flux.
L'utilisation de Compute Engine est basée sur le nombre moyen de nœuds de calcul, tandis que
L'utilisation de Persistent Disk est basée sur la valeur exacte de --maxNumWorkers. Disques persistants
sont redistribués de sorte que chaque nœud
soit associé à un nombre égal de disques.
Tarifs des ressources GPU
Les ressources GPU sont facturées au même tarif pour les jobs par flux et par lot. FlexRS n'est actuellement pas compatible avec les GPU. Pour en savoir plus sur les régions et pour les GPU, consultez Disponibilité des régions et des zones GPU dans la documentation Compute Engine.
Instantanés
Pour vous aider à gérer la fiabilité de vos pipelines de flux de données, vous pouvez utiliser pour enregistrer et restaurer l'état de votre pipeline. L'utilisation des instantanés est facturée en fonction du volume de données stockées, qui dépend des facteurs suivants:
- Le volume de données ingérées dans votre pipeline de traitement par flux
- Votre logique de fenêtrage
- Nombre d'étapes du pipeline
Vous pouvez prendre un instantané de votre job de traitement par flux à l'aide de la Dataflow la console Google Cloud ou la Google Cloud CLI. La création d'une tâche à partir de votre instantané n'entraîne aucuns frais supplémentaires pour restaurer l'état du pipeline. Pour en savoir plus, consultez Utiliser des instantanés Dataflow
Tarifs applicables aux instantanés
Confidential VM
Les Confidential VMs pour Dataflow chiffrent les données utilisées VM Compute Engine de nœud de calcul. Pour en savoir plus, consultez Présentation de Confidential VMs
L'utilisation de Confidential VMs pour Dataflow entraîne des coûts par vCPU et par Go.
Tarifs de Confidential VM
Les tarifs sont indiqués dans le monde entier et ne changent pas selon la région Google Cloud.
Ressources autres que Dataflow
En plus de l'utilisation de Dataflow, un job peut consommer les éléments suivants : ressources, chacune faisant l'objet d'une facturation spécifique, y compris, mais sans s'y limiter:
-
Les jobs Dataflow utilisent Cloud Storage pour stocker des fichiers temporaires lors de l'exécution du pipeline. Pour éviter de payer des frais de stockage inutiles, désactivez la fonctionnalité de suppression temporaire sur les buckets utilisés par vos jobs Dataflow pour le stockage temporaire. Pour en savoir plus, consultez la section Supprimer une règle de suppression réversible d'un bucket.
-
Vous pouvez acheminer les journaux vers d'autres destinations exclure des journaux de l'ingestion. Pour plus d'informations sur l'optimisation du volume de journaux pour vos Dataflow consultez la page Contrôler le volume des journaux Dataflow.
Afficher l'utilisation des ressources
Vous pouvez afficher le nombre total de processeurs virtuels, de mémoire et de ressources de disque persistant associés avec une tâche dans le panneau Job info (Informations sur la tâche) sous Resource Metrics (Métriques sur les ressources). Toi vous pouvez effectuer le suivi des métriques suivantes Interface de surveillance de Dataflow:
- Temps total de processeurs virtuels
- Temps total d'utilisation de la mémoire
- Temps total d'utilisation des disques persistants
- Volume total de flux de données traités
- Total des données de brassage traitées
- Données de brassage facturables traitées
Vous pouvez utiliser la métrique Total des données traitées par brassage pour évaluer les performances votre pipeline et la métrique Données de brassage facturables traitées pour déterminer les coûts du job Dataflow.
Avec Dataflow Prime, vous pouvez afficher le nombre total d'unités de calcul de données consommées par un job Dans le panneau Informations sur la tâche, sous Métriques sur les ressources.
Simulateur de coût
Le simulateur de coût Google Cloud vous permet de comprendre les modalités de calcul de votre facture.
Si vous ne payez pas en USD, les tarifs indiqués dans votre devise sur la page des SKU de Cloud Platform s'appliquent.
Étape suivante
- Consultez la documentation Dataflow.
- Premiers pas avec Dataflow.
- Essayez le Simulateur de coût.
- Découvrez les solutions et cas d'utilisation de Dataflow.