Tarifs de Dataproc sans serveur
Les tarifs de Dataproc sans serveur pour Spark sont basés sur le nombre d'unités de calcul de données (DCU), le nombre d'accélérateurs utilisés et la quantité de stockage aléatoire utilisée. Les DCU, les accélérateurs et le stockage aléatoire sont facturés à la seconde, avec des frais minimaux d'une minute pour les DCU et le stockage aléatoire, et des frais minimaux de cinq minutes pour les accélérateurs.
Chaque vCPU Dataproc compte comme 0,6 DCU. La RAM est facturée différemment en dessous et au-dessus de 8 Go. Chaque gigaoctet de RAM inférieur à 8 Go par processeur virtuel compte comme 0,1 DCU, et chaque gigaoctet de RAM au-delà de 8 Go par processeur virtuel compte comme 0,2 DCU. La mémoire utilisée par les pilotes et les exécuteurs Spark et l'utilisation de la mémoire système sont comptabilisées dans l'utilisation des unités de calcul de données.
Par défaut, chaque charge de travail par lot et interactive Dataproc sans serveur pour Spark utilise au moins 12 dCU pendant la durée de la charge de travail: le pilote utilise 4 processeurs virtuels et 16 Go de RAM, et consomme quatre unités de calcul de données, et chacun des deux exécuteurs utilise quatre processeurs virtuels et 16 Go de RAM, et consomme quatre unités de calcul de données. Vous pouvez personnaliser le nombre de processeurs virtuels et la quantité de mémoire par processeur virtuel en définissant les propriétés Spark. Aucuns frais supplémentaires pour la VM Compute Engine ou le disque persistant ne s'appliquent.
Tarifs des unités de calcul de données (DCU)
Le taux DCU ci-dessous est un taux horaire. Il est calculé au prorata et facturé à la seconde, avec des frais minimaux d'une minute si vous utilisez le brassage standard, et des frais minimaux de cinq minutes si vous utilisez le stockage aléatoire Premium.
La charge de travail interactive Dataproc sans serveur pour Spark est facturée au tarif Premium.
Tarifs du stockage aléatoire
Le tarif de stockage aléatoire indiqué ci-dessous est facturé mensuellement. Il est calculé au prorata et facturé à la seconde, avec des frais minimaux d'une minute pour le stockage aléatoire standard et de cinq minutes pour le stockage aléatoire Premium. Le stockage aléatoire premium ne peut être utilisé qu'avec l'unité de calcul Premium.
Tarifs des accélérateurs
Le taux d'accélérateur indiqué ci-dessous est exprimé par heure. Il est calculé au prorata et facturé à la seconde, avec un minimum de cinq minutes.
Exemple de tarification
Si la charge de travail par lot Dataproc sans serveur pour Spark s'exécute avec 12 dCU (spark.driver.cores=4, spark.executor.cores=4 et spark.executor.instances=2) pendant 24 heures dans la région us-central1 et consomme 25 Go de stockage aléatoire, le calcul du prix est le suivant.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Remarques :
- Cet exemple suppose un mois de 30 jours. Étant donné que la durée de la charge de travail par lot est d'une journée, le taux de stockage aléatoire mensuel est divisé par 30.
Si la charge de travail par lot Dataproc sans serveur pour Spark s'exécute avec 12 DCU et 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) pendant 24 heures dans la région us-central1 et utilise 25 Go de stockage aléatoire, le calcul du prix est le suivant.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Remarques :
- Cet exemple suppose un mois de 30 jours. Étant donné que la durée de la charge de travail par lot est d'une journée, le taux de stockage aléatoire mensuel est divisé par 30.
Si la charge de travail interactive Dataproc sans serveur pour Spark s'exécute avec 12 dCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) pendant 24 heures dans la région us-central1 et consomme 25 Go de stockage aléatoire, le calcul du prix est le suivant:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Remarques :
- Cet exemple suppose un mois de 30 jours. Étant donné que la durée de la charge de travail par lot est d'une journée, le taux de stockage aléatoire mensuel est divisé par 30.
Exemple d'estimation du prix
Lorsqu'une charge de travail par lot est terminée, Dataproc sans serveur pour Spark calcule UsageMetrics, qui contient une approximation du total des ressources de stockage DCU, d'accélérateur et de brassage consommées par la charge de travail terminée. Après avoir exécuté une charge de travail, vous pouvez exécuter la commande gcloud dataproc batches describe BATCH_ID pour afficher les métriques d'utilisation de la charge de travail afin de vous aider à estimer le coût d'exécution de la charge de travail.
Exemple :
Dataproc sans serveur pour Spark exécute une charge de travail sur un cluster éphémère avec un nœud maître et deux nœuds de calcul. Chaque nœud consomme 4 DCU (la valeur par défaut est 4 DCU par cœur ; voir spark.dataproc.driver.disk.size) et 400 Go de stockage aléatoire (100 Go par cœur par défaut ; voir spark.driver.cores). La durée d'exécution de la charge de travail est de 60 secondes. En outre, chaque nœud de calcul dispose d'un GPU, soit deux au total dans le cluster.
L'utilisateur exécute gcloud dataproc batches describe BATCH_ID --region REGION pour obtenir des métriques d'utilisation. Le résultat de la commande inclut l'extrait suivant (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 et shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Utilisation d'autres ressources Google Cloud
Votre charge de travail Dataproc sans serveur pour Spark peut éventuellement utiliser les ressources suivantes, chacune faisant l'objet d'une facturation spécifique, y compris, mais sans s'y limiter:
Étapes suivantes
- Lisez la documentation Dataproc sans serveur.
- Faites vos premiers pas avec Dataproc sans serveur.
- Essayez le Simulateur de coût.