Surveiller et résoudre les problèmes liés aux charges de travail par lot

Ce document décrit les outils et les fichiers que vous pouvez utiliser pour surveiller et résoudre les problèmes liés aux charges de travail par lot Serverless pour Apache Spark.

Résoudre les problèmes liés aux charges de travail depuis la console Google Cloud

Lorsqu'un job par lot échoue ou présente de mauvaises performances, la première étape recommandée consiste à ouvrir la page Détails du lot à partir de la page Lots de la console Google Cloud .

Utiliser l'onglet "Récapitulatif" : votre centre de dépannage

L'onglet Récapitulatif, sélectionné par défaut lorsque la page Détails du lot s'ouvre, affiche des métriques critiques et des journaux filtrés pour vous aider à évaluer rapidement l'état du lot. Après cette évaluation initiale, vous pouvez effectuer une analyse plus approfondie à l'aide d'outils plus spécialisés listés sur la page Détails du lot, tels que l'interface utilisateur Spark, l'explorateur de journaux et Gemini Cloud Assist.

Métriques clés par lot

L'onglet Récapitulatif de la page Détails du lot inclut des graphiques qui affichent les valeurs importantes des métriques de charge de travail par lot. Les graphiques de métriques sont générés une fois l'opération terminée. Ils fournissent une indication visuelle des problèmes potentiels, tels que la contention des ressources, l'asymétrie des données ou la pression sur la mémoire.

Tableau des métriques

Le tableau suivant liste les métriques de charge de travail Spark affichées sur la page Détails du lot de la console Google Cloud . Il décrit également comment les valeurs des métriques peuvent fournir des informations sur l'état et les performances de la charge de travail.

Métrique	Quelles informations sont affichées ?
Métriques au niveau de l'exécuteur
Ratio entre la durée de récupération de mémoire de la JVM et la durée d'exécution	Cette métrique indique le ratio entre le temps de GC (garbage collection) de la JVM et le temps d'exécution par exécuteur. Des ratios élevés peuvent indiquer des fuites de mémoire dans les tâches exécutées sur des exécuteurs spécifiques ou des structures de données inefficaces, ce qui peut entraîner un fort taux de renouvellement des objets.
Octets répandus sur le disque	Cette métrique indique le nombre total d'octets de disque déversés sur différents exécuteurs. Si un exécuteur affiche un nombre élevé d'octets de disque déversés, cela peut indiquer un déséquilibre des données. Si la métrique augmente au fil du temps, cela peut indiquer qu'il existe des étapes avec une pression de mémoire ou des fuites de mémoire.
Octets lus et écrits	Cette métrique indique le nombre d'octets écrits par rapport au nombre d'octets lus par exécuteur. Des écarts importants dans les octets lus ou écrits peuvent indiquer des scénarios dans lesquels les jointures répliquées entraînent une amplification des données sur des exécuteurs spécifiques.
Enregistrements lus et écrits	Cette métrique indique les enregistrements lus et écrits par exécuteur. Un grand nombre d'enregistrements lus avec un faible nombre d'enregistrements écrits peut indiquer un goulot d'étranglement dans la logique de traitement sur des exécuteurs spécifiques, ce qui entraîne la lecture des enregistrements en attente. Les exécuteurs qui accusent systématiquement un retard dans les lectures et les écritures peuvent indiquer une contention des ressources sur ces nœuds ou des inefficacités de code spécifiques aux exécuteurs.
Ratio entre le temps d'écriture aléatoire et le temps d'exécution	La métrique indique le temps passé par l'exécuteur dans le temps d'exécution du shuffle par rapport au temps d'exécution global. Si cette valeur est élevée pour certains exécuteurs, cela peut indiquer un déséquilibre des données ou une sérialisation inefficace des données. Vous pouvez identifier les étapes avec de longs temps d'écriture du shuffle dans l'UI Spark. Recherchez les tâches aberrantes dans ces étapes qui prennent plus de temps que la moyenne. Vérifiez si les exécuteurs avec des temps d'écriture shuffle élevés affichent également une activité d'E/S de disque élevée. Une sérialisation plus efficace et des étapes de partitionnement supplémentaires peuvent être utiles. Un nombre très élevé d'écritures d'enregistrements par rapport aux lectures d'enregistrements peut indiquer une duplication involontaire des données en raison de jointures inefficaces ou de transformations incorrectes.
Métriques au niveau de l'application
Progression des étapes	Cette métrique indique le nombre d'étapes en échec, en attente et en cours d'exécution. Un grand nombre d'étapes en échec ou en attente peut indiquer un déséquilibre des données. Recherchez les partitions de données et déterminez la raison de l'échec de l'étape à l'aide de l'onglet Étapes de l'UI Spark.
Exécuteurs Spark par lot	Cette métrique indique le nombre d'exécuteurs qui pourraient être nécessaires par rapport au nombre d'exécuteurs en cours d'exécution. Une grande différence entre les exécuteurs requis et ceux en cours d'exécution peut indiquer des problèmes d'autoscaling.
Métriques au niveau de la VM
Mémoire utilisée	Cette métrique indique le pourcentage de mémoire de VM utilisée. Si le pourcentage du maître est élevé, cela peut indiquer que le pilote est soumis à une pression de mémoire. Pour les autres nœuds de VM, un pourcentage élevé peut indiquer que les exécuteurs manquent de mémoire, ce qui peut entraîner un débordement de disque élevé et un temps d'exécution de la charge de travail plus lent. Utilisez l'UI Spark pour analyser les exécuteurs et vérifier si le temps de GC est élevé et si les tâches échouent souvent. Déboguez également le code Spark pour la mise en cache de grands ensembles de données et la diffusion inutile de variables.

Journaux de la tâche

La page Détails du lot inclut une section Journaux des jobs qui liste les avertissements et les erreurs filtrés à partir des journaux des jobs (charge de travail par lot). Cette fonctionnalité permet d'identifier rapidement les problèmes critiques sans avoir à analyser manuellement de longs fichiers journaux. Vous pouvez sélectionner une gravité de journal (par exemple, Error) dans le menu déroulant et ajouter un filtre textuel pour affiner les résultats. Pour effectuer une analyse plus approfondie, cliquez sur l'icône Afficher dans l'explorateur de journaux pour ouvrir les journaux de lot sélectionnés dans l'explorateur de journaux.

Afficher les journaux de traitement par lot dans Cloud Logging

Exemple : L'explorateur de journaux s'ouvre après avoir sélectionné Errors dans le sélecteur de gravité sur la page Détails du lot de la console Google Cloud .

UI Spark

L'UI Spark collecte les détails d'exécution Apache Spark des charges de travail par lot Serverless pour Apache Spark. La fonctionnalité UI Spark est gratuite et activée par défaut.

Les données collectées par la fonctionnalité d'interface utilisateur Spark sont conservées pendant 90 jours. Vous pouvez utiliser cette interface Web pour surveiller et déboguer les charges de travail Spark sans avoir à créer de serveur d'historique persistant.

Remarque : L'UI Spark collecte et affiche également les détails d'exécution des sessions interactives Serverless pour Apache Spark. Pour en savoir plus, consultez Surveiller et résoudre les problèmes liés aux sessions interactives Serverless pour Apache Spark.

Autorisations et rôles Identity and Access Management requis

Les autorisations suivantes sont requises pour utiliser la fonctionnalité d'UI Spark avec les charges de travail par lot.

• Autorisation de collecte de données : dataproc.batches.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les charges de travail par lot. Cette autorisation est incluse dans le rôle Dataproc Worker, qui est automatiquement accordé au compte de service Compute Engine par défaut que Serverless pour Apache Spark utilise par défaut (voir Compte de service Serverless pour Apache Spark). Toutefois, si vous spécifiez un compte de service personnalisé pour votre charge de travail par lot, vous devez ajouter l'autorisation dataproc.batches.sparkApplicationWrite à ce compte de service (généralement en attribuant le rôle Dataproc Worker au compte de service).

• Autorisation d'accès à l'UI Spark : dataproc.batches.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'interface utilisateur Spark dans la consoleGoogle Cloud . Cette autorisation est incluse dans les rôles Dataproc Viewer, Dataproc Editor et Dataproc Administrator. Pour ouvrir l'interface utilisateur Spark dans la console Google Cloud , vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé qui inclut cette autorisation.

Ouvrir l'UI Spark

La page de l'UI Spark est disponible dans les charges de travail par lot de la console Google Cloud .

1. Accédez à la page Sessions interactives Serverless pour Apache Spark.

   Accéder à la page "Lots" de Dataproc

2. Cliquez sur un ID de lot pour ouvrir la page Détails du lot.

3. Cliquez sur Afficher l'UI Spark dans le menu du haut.

Le bouton Afficher l'UI Spark est désactivé dans les cas suivants :

• Si une autorisation requise n'est pas accordée
• Si vous décochez la case Activer l'UI Spark sur la page Détails du lot
• Si vous définissez la propriété spark.dataproc.appContext.enabled sur false lorsque vous soumettez une charge de travail par lot

Investigations optimisées par l'IA avec Gemini Cloud Assist (version preview)

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Présentation

La fonctionnalité d'investigation Gemini Cloud Assist en Preview utilise les fonctionnalités avancées de Gemini pour vous aider à créer et à exécuter des charges de travail par lot Serverless pour Apache Spark. Cette fonctionnalité analyse les charges de travail lentes et ayant échoué pour identifier les causes fondamentales et recommander des corrections. Il crée une analyse persistante que vous pouvez examiner, enregistrer et partager avec l'assistance Google Cloud pour faciliter la collaboration et accélérer la résolution des problèmes.

Fonctionnalités

Utilisez cette fonctionnalité pour créer des investigations à partir de la console Google Cloud  :

• Ajoutez une description du contexte en langage naturel à un problème avant de créer une investigation.
• Analysez les charges de travail par lot lentes ou ayant échoué.
• Obtenez des informations sur les causes premières des problèmes et des corrections recommandées.
• Créez des demandes d'assistance Google Cloud avec le contexte complet de l'enquête en pièce jointe.

Avant de commencer

Pour commencer à utiliser la fonctionnalité d'investigation, activez l'API Gemini Cloud Assist dans votre projet Google Cloud .

Lancer une investigation

Pour lancer une investigation, effectuez l'une des opérations suivantes :

1. Option 1 : Dans la console Google Cloud , accédez à la page de la liste des lots. Pour tout lot dont l'état est Failed, un bouton EXAMINER s'affiche dans la colonne Insights de Gemini. Cliquez sur le bouton pour lancer une investigation.

   

2. Option 2 : Ouvrez la page Détails du lot de la charge de travail par lot à examiner. Pour les charges de travail par lot Succeeded et Failed, un bouton EXAMINER s'affiche dans le panneau Insights de Gemini de la section Aperçu de l'état de l'onglet Résumé. Cliquez sur le bouton pour lancer une investigation.

   

   Le texte du bouton d'investigation indique l'état de l'investigation :

   • ENQUÊTE : aucune enquête n'a été menée pour ce batch_details. Cliquez sur le bouton pour lancer une investigation.
   • AFFICHER L'INVESTIGATION : une investigation est terminée. Cliquez sur le bouton pour afficher les résultats.
   • EN COURS D'EXAMEN : une investigation est en cours.

Interpréter les résultats d'une investigation

Une fois l'investigation terminée, la page Détails de l'investigation s'ouvre. Cette page contient l'analyse complète de Gemini, qui est organisée dans les sections suivantes :

• Problème : section réduite contenant les détails renseignés automatiquement de la charge de travail par lot en cours d'examen.
• Observations pertinentes : section réduite qui liste les points de données clés et les anomalies détectées par Gemini lors de l'analyse des journaux et des métriques.
• Hypothèses : il s'agit de la section principale, qui est développée par défaut. Il présente une liste des causes potentielles du problème observé. Chaque hypothèse inclut les éléments suivants :
  • Présentation : description de la cause possible, par exemple "Temps d'écriture du shuffle élevé et déséquilibre potentiel des tâches".
  • Solutions recommandées : liste d'étapes concrètes à suivre pour résoudre le problème potentiel.

Intervenir

Après avoir examiné les hypothèses et les recommandations :

• Appliquez une ou plusieurs des corrections suggérées à la configuration ou au code du job, puis réexécutez le job.

• Pour nous indiquer si l'investigation vous a été utile, cliquez sur les icônes J'aime ou Je n'aime pas en haut du panneau.

Examiner et escalader des enquêtes

Pour consulter les résultats d'une investigation précédemment exécutée, cliquez sur le nom de l'investigation sur la page Investigations Cloud Assist pour ouvrir la page Détails de l'investigation.

Si vous avez besoin d'aide supplémentaire, vous pouvez ouvrir une demande d'assistance Google Cloud . Ce processus fournit à l'ingénieur de l'assistance le contexte complet de l'investigation précédemment effectuée, y compris les observations et les hypothèses générées par Gemini. Ce partage de contexte réduit considérablement les échanges nécessaires avec l'équipe d'assistance et permet de résoudre les demandes plus rapidement.

Pour créer une demande d'assistance à partir d'une enquête :

Sur la page Détails de l'enquête, cliquez sur Demander de l'aide.

Remarque : Vous pouvez cliquer sur Ouvrir le chat pour démarrer une conversation et poser des questions sur les résultats de l'enquête avant d'ouvrir une demande d'assistance.

État et tarifs de l'aperçu

Les investigations Gemini Cloud Assist ne sont pas facturées pendant la version Preview publique. Des frais s'appliqueront à la fonctionnalité lorsqu'elle sera disponible pour tous les utilisateurs.

Pour en savoir plus sur les tarifs après la disponibilité générale, consultez Tarifs de Gemini Cloud Assist.

Version preview de Demander à Gemini (arrêtée le 22 septembre 2025)

La fonctionnalité d'aperçu Demander à Gemini permettait d'accéder en un clic à des insights sur les pages Lots et Détails du lot de la console Google Cloud grâce à un bouton Demander à Gemini. Cette fonction a généré un récapitulatif des erreurs, des anomalies et des améliorations potentielles des performances en fonction des journaux et des métriques de charge de travail.

Une fois la version preview de "Demander à Gemini" abandonnée le 22 septembre 2025, les utilisateurs pourront continuer à obtenir de l'aide grâce à l'IA en utilisant la fonctionnalité d'investigation Gemini Cloud Assist.

Important : Pour bénéficier d'une assistance IA de dépannage ininterrompue, nous vous recommandons vivement d'activer les investigations Gemini Cloud Assist avant le 22 septembre 2025.

Journaux Dataproc sans serveur pour Apache Spark

La journalisation est activée par défaut dans Serverless pour Apache Spark, et les journaux de charge de travail sont conservés une fois la charge de travail terminée. Serverless pour Apache Spark collecte les journaux de charge de travail dans Cloud Logging. Vous pouvez accéder aux journaux Serverless pour Apache Spark sous la ressource Cloud Dataproc Batch dans l'explorateur de journaux.

Interroger les journaux de Serverless pour Apache Spark

L'explorateur de journaux de la console Google Cloud fournit un volet de requête pour vous aider à créer une requête permettant d'examiner les journaux des charges de travail par lot. Voici les étapes à suivre pour créer une requête permettant d'examiner les journaux de charge de travail par lot :

1. Accéder à l'explorateur de journaux

2. Votre projet actuel est sélectionné. Vous pouvez cliquer sur Affiner le projet de portée pour sélectionner un autre projet.

3. Définissez une requête par lot pour les journaux.

   • Utilisez les menus de filtre pour filtrer une charge de travail par lot.

     1. Sous Toutes les ressources, sélectionnez la ressource Batch Cloud Dataproc.

        

        1. Dans le panneau Sélectionner une ressource, sélectionnez le lot EMPLACEMENT, puis l'ID DU LOT. Ces paramètres de lot sont listés sur la page Lots de Dataproc dans la console Google Cloud .

           

        2. Cliquez sur Appliquer.

        3. Sous Sélectionner les noms de journaux, saisissez dataproc.googleapis.com dans le champ Rechercher les noms de journaux pour limiter les types de journaux à interroger. Sélectionnez un ou plusieurs noms de fichiers journaux listés.

           

   • Utilisez l'éditeur de requête pour filtrer les journaux spécifiques aux VM.

     1. Spécifiez le type de ressource et le nom de la ressource de VM, comme indiqué dans l'exemple suivant :

        resource.type="cloud_dataproc_batch"
        labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCH_UUID-VM_SUFFIX"
        

        Remarques :
        • BATCH_UUID : l'UUID du lot est indiqué sur la page "Détails du lot" de la console Google Cloud , qui s'ouvre lorsque vous cliquez sur l'ID du lot sur la page Lots.

          

        Les journaux de traitement par lot indiquent également l'UUID du lot dans le nom de la ressource de VM. Voici un exemple tiré d'un fichier driver.log par lot :

        

4. Cliquez sur Exécuter la requête.

Types de journaux et exemples de requêtes pour Apache Spark sans serveur

La liste suivante décrit les différents types de journaux Serverless pour Apache Spark et fournit des exemples de requêtes de l'explorateur de journaux pour chaque type de journal.

1. dataproc.googleapis.com/output : ce fichier journal contient la sortie de la charge de travail par lot. Serverless pour Apache Spark diffuse la sortie par lot dans l'espace de noms output et définit le nom de fichier sur JOB_ID.driver.log.

   Exemple de requête de l'explorateur de journaux pour les journaux de sortie :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Foutput"
   

2. dataproc.googleapis.com/spark : l'espace de noms spark agrège les journaux Spark pour les démons et les exécuteurs s'exécutant sur les VM maîtres et de nœuds de calcul du cluster Dataproc. Chaque entrée de journal inclut un libellé de composant master, worker ou executor pour identifier la source du journal, comme suit :

   • executor : journaux des exécuteurs de code utilisateur. Il s'agit généralement de journaux distribués.
   • master : journaux du maître du gestionnaire de ressources autonome Spark, qui sont semblables aux journaux ResourceManager de Dataproc sur Compute Engine YARN.
   • worker : journaux du nœud de calcul du gestionnaire de ressources autonome Spark, qui sont semblables aux journaux NodeManager de Dataproc sur Compute Engine YARN.

   Exemple de requête de l'explorateur de journaux pour tous les journaux de l'espace de noms spark :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
   

   Exemple de requête de l'explorateur de journaux pour les journaux de composants autonomes Spark dans l'espace de noms spark :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
   jsonPayload.component="COMPONENT"
   

3. dataproc.googleapis.com/startup : l'espace de noms startup inclut les journaux de démarrage par lot (cluster). Les journaux de script d'initialisation sont inclus. Les composants sont identifiés par un libellé, par exemple :

   startup-script[855]: ... activate-component-spark[3050]: ... enable spark-worker
   

   Exemple de requête de l'explorateur de journaux pour les journaux de démarrage sur une VM spécifique :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fstartup"
   labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCH_UUID-VM_SUFFIX"
   

4. dataproc.googleapis.com/agent : l'espace de noms agent agrège les journaux de l'agent Dataproc. Chaque entrée de journal inclut un libellé de nom de fichier qui identifie la source du journal.

   Exemple de requête de l'explorateur de journaux pour les journaux d'agent générés par une VM de nœud de calcul spécifique :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fagent"
   labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCHUUID-wWORKER#"
   

5. dataproc.googleapis.com/autoscaler : l'espace de noms autoscaler agrège les journaux de l'autoscaler Serverless pour Apache Spark.

   Exemple de requête de l'explorateur de journaux pour les journaux d'agent générés par une VM de nœud de calcul spécifique :

   resource.type="cloud_dataproc_batch"
   resource.labels.location="REGION"
   resource.labels.batch_id="BATCH_ID"
   logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fautoscaler"
   labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCHUUID-wWORKER#"
   

Pour en savoir plus, consultez la page Journaux Dataproc.

Pour en savoir plus sur les journaux d'audit Serverless pour Apache Spark, consultez Journaux d'audit Dataproc.

Métriques liées aux charges de travail

Serverless pour Apache Spark fournit des métriques de traitement par lot et Spark que vous pouvez consulter depuis l'explorateur de métriques ou la page Détails du traitement par lot de la console Google Cloud .

Métriques par lot

Les métriques de ressources batch Dataproc fournissent des informations sur les ressources par lot, telles que le nombre d'exécuteurs de lots. Les métriques de lot sont précédées du préfixe dataproc.googleapis.com/batch.

Métriques Spark

Par défaut, Serverless pour Apache Spark active la collecte des métriques Spark disponibles, sauf si vous utilisez les propriétés de collecte des métriques Spark pour désactiver ou remplacer la collecte d'une ou de plusieurs métriques Spark.

Les métriques Spark disponibles incluent les métriques du pilote et de l'exécuteur Spark, ainsi que les métriques système. Les métriques Spark disponibles sont précédées de custom.googleapis.com/.

Configurer des alertes de métrique

Vous pouvez créer des alertes de métriques Dataproc pour être averti des problèmes liés aux charges de travail.

Créer des graphiques

Vous pouvez créer des graphiques qui visualisent les métriques de charge de travail à l'aide de l'explorateur de métriques dans la consoleGoogle Cloud . Par exemple, vous pouvez créer un graphique pour afficher disk:bytes_used, puis filtrer par batch_id.

Cloud Monitoring

Monitoring utilise les métadonnées et les métriques des charges de travail pour fournir des insights sur l'état et les performances des charges de travail Serverless pour Apache Spark. Les métriques de charge de travail incluent les métriques Spark, les métriques de lot et les métriques d'opération.

Vous pouvez utiliser Cloud Monitoring dans la console Google Cloud pour explorer les métriques, ajouter des graphiques, créer des tableaux de bord et créer des alertes.

Créer des tableaux de bord

Vous pouvez créer un tableau de bord pour surveiller les charges de travail à l'aide de métriques provenant de plusieurs projets et de différents produits Google Cloud . Pour en savoir plus, consultez Créer et gérer des tableaux de bord personnalisés.

Serveur d'historique persistant

Serverless pour Apache Spark crée les ressources de calcul nécessaires à l'exécution d'une charge de travail, exécute la charge de travail sur ces ressources, puis supprime les ressources une fois la charge de travail terminée. Les métriques et les événements de charge de travail ne persistent pas une fois la charge de travail terminée. Toutefois, vous pouvez utiliser un serveur d'historique persistant (PHS) pour conserver l'historique des applications de charge de travail (journaux d'événements) dans Cloud Storage.

Pour utiliser un PHS avec une charge de travail par lot, procédez comme suit :

1. Créez un serveur d'historique persistant (PHS) Dataproc.

   Remarque : La page UI Spark de la console Google Cloud collecte et affiche les détails d'exécution des charges de travail Spark, ce qui vous aide à surveiller et à déboguer vos charges de travail sans avoir à créer de cluster PHS.

2. Spécifiez votre PHS lorsque vous soumettez une charge de travail.

3. Utilisez la passerelle des composants pour vous connecter au PHS et afficher les détails des applications, les étapes du planificateur, les détails au niveau des tâches, ainsi que les informations sur l'environnement et l'exécuteur.

Réglage automatique

• Activez l'optimisation automatique pour Serverless pour Apache Spark : vous pouvez activer l'optimisation automatique pour Serverless pour Apache Spark lorsque vous envoyez chaque charge de travail par lot Spark récurrente à l'aide de la console Google Cloud , de la gcloud CLI ou de l'API Dataproc.

Console

Pour activer le réglage automatique sur chaque charge de travail Spark par lot récurrente, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Lots de Dataproc.

   Accéder à la page "Lots" de Dataproc

2. Pour créer une charge de travail par lot, cliquez sur Créer.

3. Dans la section Conteneur, saisissez le nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'analyse assistée par Gemini s'applique aux deuxième et suivantes charges de travail envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH-Query1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.

4. Remplissez les autres sections de la page Créer un lot selon vos besoins, puis cliquez sur Envoyer. Pour en savoir plus, consultez Envoyer une charge de travail par lot.

gcloud

Exécutez la commande gcloud CLI gcloud dataproc batches submit en local dans une fenêtre de terminal ou dans Cloud Shell pour activer l'optimisation automatique sur chaque charge de travail par lot Spark récurrente :

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    other arguments ...

Remplacez les éléments suivants :

• COMMAND : type de charge de travail Spark, tel que Spark, PySpark, Spark-Sql ou Spark-R.
• REGION : région dans laquelle votre charge de travail sera exécutée.
• COHORT : nom de la cohorte, qui identifie le lot comme faisant partie d'une série de charges de travail récurrentes. L'analyse assistée par Gemini est appliquée à la deuxième charge de travail et aux suivantes qui sont envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH Query 1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.

API

Incluez le nom RuntimeConfig.cohort dans une requête batches.create pour activer le réglage automatique sur chaque charge de travail par lot Spark récurrente. Le réglage automatique est appliqué à la deuxième charge de travail et aux suivantes envoyées avec ce nom de cohorte. Par exemple, spécifiez TPCH-Query1 comme nom de cohorte pour une charge de travail planifiée qui exécute une requête TPC-H quotidienne.

Exemple :

...
runtimeConfig:
  cohort: TPCH-Query1
...