Réglage automatique des charges de travail Spark

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Pour en savoir plus sur l'accès à cette version, consultez la page de demande d'accès.

L'optimisation des performances et de la résilience d'une charge de travail Spark peut s'avérer difficile en raison du nombre d'options de configuration Spark et de la difficulté à évaluer l'impact de ces options sur une charge de travail. Le réglage automatique sans serveur de Dataproc offre une alternative à la configuration manuelle des charges de travail en appliquant automatiquement les paramètres de configuration Spark à une charge de travail Spark récurrente, en fonction des bonnes pratiques d'optimisation Spark et d'une analyse des exécutions de charge de travail.

S'inscrire au réglage automatique de Dataproc sans serveur

Pour vous inscrire afin d'accéder à la version preview du réglage automatique sans serveur Dataproc décrite sur cette page, remplissez et envoyez le formulaire d'inscription Gemini dans BigQuery Preview. Une fois le formulaire approuvé, les projets répertoriés dans le formulaire ont accès aux fonctionnalités en version preview.

Remarque : Pour nous faire part de vos commentaires sur cette version preview, vous pouvez utiliser le formulaire de commentaires sur les aperçus Dataproc.

Avantages

Le réglage automatique de Dataproc sans serveur offre les avantages suivants:

• Amélioration des performances: réglage de l'optimisation pour améliorer les performances
• Optimisation plus rapide: configuration automatique pour éviter les tests de configuration manuels chronophages.
• Résilience accrue: allocation automatique de la mémoire pour éviter les défaillances liées à la mémoire

Limites

Le réglage automatique de Dataproc sans serveur présente les limites suivantes:

• Le réglage automatique est calculé et appliqué aux exécutions secondaires et ultérieures d'une charge de travail. La première exécution d'une charge de travail récurrente n'est pas réglée automatiquement, car le réglage automatique de Dataproc sans serveur utilise l'historique des charges de travail à des fins d'optimisation.
• Le redimensionnement de la mémoire n'est pas accepté.
• Le réglage automatique n'est pas appliqué rétroactivement aux charges de travail en cours d'exécution, mais uniquement aux cohortes de charges de travail nouvellement envoyées.

Cohortes avec réglage automatique

Le réglage automatique est appliqué aux exécutions récurrentes d'une charge de travail par lot, appelées cohortes. Le nom de cohorte que vous spécifiez lorsque vous envoyez une charge de travail l'identifie comme l'une des exécutions successives de la charge de travail récurrente. Nous vous recommandons d'utiliser des noms de cohorte qui décrivent le type de charge de travail ou qui permettent d'identifier les exécutions d'une charge de travail récurrente. Par exemple, spécifiez TPCH-Query1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.

Scénarios de réglage automatique

Pour appliquer le réglage automatique sans serveur de Dataproc à votre charge de travail, sélectionnez un ou plusieurs des scénarios de réglage automatique suivants:

• MEMORY: réglage automatique de l'allocation de mémoire Spark pour prédire et éviter les éventuelles erreurs de saturation de la mémoire de la charge de travail. Correction d'une charge de travail ayant précédemment échoué en raison d'une erreur de mémoire saturée (OOM, Out Of Memory).
• SCALING: paramètres de configuration de l'autoscaling Spark Autotune.
• BHJ: réglage automatique des paramètres de configuration Spark pour optimiser les performances des jointures de diffusion SQL.

Tarification

Le réglage automatique sans serveur de Dataproc est proposé pendant la phase preview sans frais supplémentaires. La tarification standard de Dataproc sans serveur s'applique.

Disponibilité en fonction des régions

Vous pouvez utiliser le réglage automatique sans serveur de Dataproc avec les lots envoyés dans les régions Compute Engine disponibles.

Utiliser le réglage automatique de Dataproc sans serveur

Vous pouvez activer le réglage automatique de Dataproc sans serveur sur une charge de travail à l'aide de la console Google Cloud, de Google Cloud CLI ou de l'API Dataproc.

Console

Pour activer le réglage automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Dataproc Lots.

   Accéder à la page "Lots" de Dataproc

2. Pour créer une charge de travail par lot, cliquez sur Créer.

3. Dans la section Conteneur, renseignez les champs suivants pour votre charge de travail Spark:

   • Cohorte:nom de la cohorte, qui identifie le lot comme l'une des séries de charges de travail récurrentes. Le réglage automatique est appliqué à la deuxième charge de travail et aux suivantes qui sont envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH-Query1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.
   • Scénarios de réglage automatique:un ou plusieurs scénarios de réglage automatique à utiliser pour optimiser la charge de travail, par exemple, BHJ, MEMORY et SCALING. Vous pouvez modifier la sélection de scénarios à chaque envoi de cohorte par lot.

4. Remplissez les autres sections de la page Créer un lot selon vos besoins, puis cliquez sur Envoyer. Pour en savoir plus sur ces champs, consultez la section Envoyer une charge de travail par lot.

gcloud

Pour activer le réglage automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, exécutez la commande gcloud dataproc batches submit de la gcloud CLI suivante, en local dans une fenêtre de terminal ou dans Cloud Shell.

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    --autotuning-scenarios=SCENARIOS \
    other arguments ...

Remplacez les éléments suivants :

• COMMAND: type de charge de travail Spark, tel que Spark, PySpark, Spark-Sql ou Spark-R.
• REGION: région dans laquelle la charge de travail sera exécutée.
• COHORT: nom de la cohorte, qui identifie le lot comme l'une des charges de travail récurrentes. Le réglage automatique s'applique à la deuxième charge de travail et aux suivantes qui sont envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH Query 1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.
• SCENARIOS: un ou plusieurs scénarios de réglage automatique séparés par une virgule à utiliser pour optimiser la charge de travail (par exemple, --autotuning-scenarios=OOM,MEMORY,SCALING). Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot.

API

Pour activer le réglage automatique de Dataproc sans serveur à chaque envoi d'une charge de travail par lot récurrente, envoyez une requête batches.create qui inclut les champs suivants:

• RuntimeConfig.cohort: nom de la cohorte, qui identifie le lot comme l'une des charges de travail récurrentes. Le réglage automatique est appliqué à la deuxième charge de travail et aux suivantes envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH-Query1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.
• AutotuningConfig.scenarios: un ou plusieurs scénarios d'ajustement automatique à utiliser pour optimiser la charge de travail, par exemple, BHJ, MEMORY et SCALING. Vous pouvez modifier la liste des scénarios à chaque envoi de cohorte par lot.

Exemple :

...
runtimeConfig:
  cohort: TPCH-Query1
  autotuningConfig:
    scenarios:
    - BHJ
    - MEMORY
    - SCALING
...

Afficher les modifications apportées au réglage automatique

Pour afficher les modifications apportées au réglage automatique sans serveur Dataproc apportées à une charge de travail par lot, exécutez la commande gcloud dataproc batches describe.

Exemple: Le résultat de gcloud dataproc batches describe est semblable à celui-ci:

...
runtimeInfo:
   propertiesInfo:
    # Properties set by autotuning.
    autotuningProperties
      spark.driver.memory:
        annotation: Driver OOM was detected
        value: 11520m
      spark.driver.memoryOverhead:
        annotation: Driver OOM was detected
        value: 4608m
    # Old overwritten properties.
    userProperties
...

Vous pouvez également afficher les dernières modifications d'autoréglage appliquées à une charge de travail en cours d'exécution, terminée ou en échec sur la page Détails du lot de la console Google Cloud, dans l'onglet Enquêter.