Utiliser des GPU avec Dataproc sans serveur

Vous pouvez associer des accélérateurs GPU à vos charges de travail par lot Dataproc sans serveur pour obtenir les résultats suivants :

• Accélérez le traitement de charges de travail d'analyse de données à grande échelle.

• Accélérez l'entraînement de modèle sur de grands ensembles de données à l'aide de bibliothèques de machine learning GPU.

• Effectuer des analyses de données avancées, telles que le traitement vidéo ou du langage naturel

Tous les environnements d'exécution Spark sans serveur de Dataproc compatibles Ajoutez la bibliothèque Spark RAPIDS à chaque nœud de charge de travail. La version 1.1 de l'environnement d'exécution Spark de Dataproc sans serveur ajoute également la bibliothèque XGBoost aux nœuds de charge de travail. Ces bibliothèques fournissent des outils de transformation de données et de machine learning puissants que vous pouvez utiliser dans vos charges de travail accélérées par GPU.

Avantages des GPU

Voici quelques-uns des avantages de l'utilisation de GPU avec vos charges de travail Spark Dataproc sans serveur :

• Amélioration des performances : l'accélération GPU peut considérablement améliorer les performances des charges de travail Spark, en particulier pour les tâches gourmandes en calcul, telles que le machine learning et le deep learning, le traitement de graphiques et l'analyse complexe.

• Entraînement de modèles plus rapide : pour les tâches de machine learning, l'association de GPU peut réduire considérablement le temps nécessaire à l'entraînement des modèles, ce qui permet aux data scientists et aux ingénieurs d'effectuer des itérations et des tests rapidement.

• Évolutivité : les clients peuvent ajouter des nœuds GPU ou des GPU plus puissants aux nœuds pour répondre à des besoins de traitement de plus en plus complexes.

• Rentabilité:bien que les GPU nécessitent un investissement initial, vous pouvez d'économies au fil du temps grâce à la réduction des temps de traitement et à une utilisation plus efficace des ressources.

• Analyses de données améliorées:l'accélération du GPU vous permet d'effectuer des analyses avancées, comme l'analyse d'images et de vidéos, et le traitement du langage naturel, sur de grands ensembles de données.

• Amélioration des produits : un traitement plus rapide permet de prendre des décisions plus rapidement et d'obtenir des applications plus réactives.

Limites et points à noter

• Vous pouvez joindre un appareil NVIDIA A100 ou Des GPU NVIDIA L4 aux charges de travail par lot Dataproc sans serveur Les accélérateurs A100 et L4 sont soumis aux Disponibilité régionale des GPU Compute Engine

• La bibliothèque XGBoost est uniquement fournie avec Dataproc sans serveur Charges de travail accélérées par GPU lors de l'utilisation de Dataproc sans serveur Version 1.x de l'environnement d'exécution Spark.

• Les lots accélérés par GPU sans serveur Dataproc avec XGBoost utilisent des quotas Compute Engine plus élevés. Par exemple, pour exécuter une charge de travail par lot sans serveur qui utilise un GPU NVIDIA L4, vous devez allouer le quota NVIDIA_L4_GPUS.

• Les tâches utilisant des accélérateurs ne sont pas compatibles avec constraints/compute.requireShieldedVm des règles d'administration. Si votre organisation applique cette règle, son accélérateur ne s'exécuteront pas correctement.

• Vous devez définir le jeu de caractères par défaut sur UTF-8 lorsque vous utilisez l'accélération GPU RAPIDS avec les environnements d'exécution Dataproc sans serveur compatibles antérieurs à la version 2.2. Pour en savoir plus, consultez la section Créer une charge de travail par lot sans serveur avec des accélérateurs GPU.

Tarifs

Consultez la page Tarifs de Dataproc sans serveur. pour obtenir des informations sur les tarifs des accélérateurs.

Avant de commencer

Avant de créer une charge de travail par lot sans serveur associée à des accélérateurs GPU, effectuer les opérations suivantes:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

12. In the Google Cloud console, go to the Cloud Storage Buckets page.

    Go to Buckets page

13. Click Create bucket.
14. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
    • For Name your bucket, enter a name that meets the bucket naming requirements.
    • For Choose where to store your data, do the following:
      • Select a Location type option.
      • Select a Location option.
    • For Choose a default storage class for your data, select a storage class.
    • For Choose how to control access to objects, select an Access control option.
    • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
15. Click Create.

Créer une charge de travail par lot sans serveur avec des accélérateurs de GPU

Envoyez une charge de travail par lot Dataproc sans serveur qui utilise des GPU NVIDIA L4 pour exécuter une tâche PySpark parallélisée. Suivez ces étapes à l'aide de la gcloud CLI:

1. Cliquez sur Développer, puis créez et enregistrez le code PySpark listé dans un fichier test-py-spark-gpu.py sur votre ordinateur local à l'aide d'un éditeur de texte ou de code.

   Développer Réduire

   #!/usr/bin/env python
   
   """S8s Accelerators Example."""
   
   import subprocess
   from typing import Any
   from pyspark.sql import SparkSession
   from pyspark.sql.functions import col
   from pyspark.sql.types import IntegerType
   from pyspark.sql.types import StructField
   from pyspark.sql.types import StructType
   
   spark = SparkSession.builder.appName("joindemo").getOrCreate()
   
   
   def get_num_gpus(_: Any) -> int:
     """Returns the number of GPUs."""
     p_nvidia_smi = subprocess.Popen(
         ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE
     )
     p_wc = subprocess.Popen(
         ["wc", "-l"],
         stdin=p_nvidia_smi.stdout,
         stdout=subprocess.PIPE,
         stderr=subprocess.PIPE,
         universal_newlines=True,
     )
     [out, _] = p_wc.communicate()
     return int(out)
   
   
   num_workers = 5
   result = (
       spark.sparkContext.range(0, num_workers, 1, num_workers)
       .map(get_num_gpus)
       .collect()
   )
   num_gpus = sum(result)
   print(f"Total accelerators: {num_gpus}")
   
   # Run the join example
   schema = StructType([StructField("value", IntegerType(), True)])
   df = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   df2 = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   joined_df = (
       df.select(col("value").alias("a"))
       .join(df2.select(col("value").alias("b")), col("a") == col("b"))
       .explain()
   )

2. Utilisez la CLI gcloud sur votre ordinateur local pour envoyer la tâche par lot sans serveur Dataproc Serverless avec cinq nœuds de travail, chacun accéléré par des GPU L4 :

   gcloud dataproc batches submit pyspark test-py-spark-gpu.py \
       --project=PROJECT_ID \
       --region=REGION \
       --deps-bucket=BUCKET_NAME \
       --version=1.1 \
       --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
   

Remarques :

• PROJECT_ID : ID de votre projet Google Cloud.
• REGION: région Compute Engine disponible pour pour exécuter la charge de travail.
• BUCKET_NAME : nom du bucket Cloud Storage. Spark importe les dépendances de la charge de travail dans un dossier /dependencies de ce bucket avant d'exécuter la charge de travail par lot.
• --version : toutes les exécutions sans serveur Dataproc compatibles ajoutent la bibliothèque RAPIDS à chaque nœud d'une charge de travail accélérée par GPU. Actuellement, seule la version d'exécution 1.1 ajoute XGBoost. à chaque nœud d'une charge de travail accélérée par GPU.

• --properties (voir Propriétés d'allocation de ressources Spark) :

  • spark.dataproc.driverEnv.LANG=C.UTF-8 et spark.executorEnv.LANG=C.UTF-8 (obligatoire avec les versions d'exécution antérieures à 2.2) : ces propriétés définissent l'ensemble de caractères par défaut sur C.UTF-8.

  • spark.dataproc.executor.compute.tier=premium (obligatoire): Les charges de travail accélérées par GPU sont facturées à l'aide d'unités de calcul de données premium. (unités de calcul de données). Découvrir Dataproc sans serveur Tarifs de l'accélérateur.

  • spark.dataproc.executor.disk.tier=premium (obligatoire) : les nœuds avec des accélérateurs A100-40, A100-80 ou L4 doivent utiliser le niveau de disque Premium.

  • spark.dataproc.executor.resource.accelerator.type=l4 (obligatoire): uniquement un type de GPU doit être spécifié. L'exemple de job sélectionne le GPU L4. La les types d'accélérateurs suivants peuvent être spécifiés avec l'argument noms:

    Type de GPU	Nom de l'argument
    A100 40 Go	a100-40
    A100 80 Go	a100-80

  • spark.executor.instances=5 (obligatoire) : doit être au moins égal à deux. Définir sur cinq pour cet exemple.

  • spark.executor.cores (facultatif): Vous pouvez définir cette propriété pour spécifier le nombre de vCPU de cœur. Les valeurs valides pour les GPU L4 sont les suivantes : 4, la valeur par défaut, ou 8, 12 ou 16. La seule valeur valide (par défaut) pour les GPU A100 est 12.

  • spark.dataproc.executor.disk.size (obligatoire): les GPU L4 nécessitent la version 375. Go. Si vous définissez cette propriété sur une valeur différente lors de l'envoi charge de travail accélérée L4, une erreur se produit. Si vous sélectionnez un GPU A100 40 ou A100 80, les tailles valides sont 375 g, 750 g, 1 500 g, 3 000 g, 6 000 g et 9 000 g.

  • spark.executor.memory (facultatif) et spark.executor.memoryOverhead (facultatif) : vous pouvez définir l'une de ces propriétés, mais pas les deux. La quantité de mémoire disponible non consommée par la propriété définie est appliquée à la propriété non définie. Par défaut, spark.executor.memoryOverhead est défini sur 40% de la mémoire disponible pour les charges de travail par lot PySpark et 10% pour les autres charges de travail (consultez Propriétés d'allocation de ressources Spark).

    Le tableau suivant indique la quantité maximale de mémoire pouvant être définie pour configurations de GPU A100 et L4. La valeur minimale pour est de 1024 Mo.

    	A100 (40 Go)	A100 (80 Go)	L4 (4 cœurs)	L4 (8 cœurs)	L4 (12 cœurs)	L4 (16 cœurs)
    Mémoire totale maximale (Mo)	78040	165080	13384	26768	40152	53536

  • Propriétés Spark RAPIDS (facultatif) : par défaut, Dataproc sans serveur définit les valeurs de propriété Spark RAPIDS suivantes :

    • spark.plugins=com.nvidia.spark.SQLPlugin
    • spark.executor.resource.gpu.amount=1
    • spark.task.resource.gpu.amount=1/$spark_executor_cores
    • spark.shuffle.manager=''. Par défaut, cette propriété n'est pas définie. Cependant, NVIDIA recommande d'activer le Gestionnaire de brassage RAPIDS lorsque vous utilisez des GPU pour améliorer les performances. Pour ce faire, définissez spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager lorsque vous envoyez une charge de travail.

    Reportez-vous à la page Configuration de l'accélérateur RAPIDS pour Apache Spark afin de définir les propriétés Spark RAPIDS et à la page Configuration avancée de l'accélérateur RAPIDS pour Apache Spark. pour définir les propriétés avancées de Spark.