Cette page contient les questions fréquentes sur Dataproc sans serveur et les réponses correspondantes.
Quand dois-je utiliser Dataproc sans serveur pour Spark au lieu de Dataproc sur Compute Engine ?
Dataproc sans serveur:
- Compatible avec les charges de travail par lot Spark et les sessions interactives dans les notebooks Jupyter du kernel PySpark.
- Dataproc sans serveur crée et gère votre charge de travail et votre infrastructure de session interactive.
Dataproc sur Compute Engine:
Compatible avec l'envoi de différents types de tâches Spark et de tâches basées sur d'autres composants Open Source, tels que Flink, Hadoop, Hive, Pig, Presto et d'autres.
Ne crée ni ne gère pas d'infrastructure. Vous créez et gérez vos clusters Dataproc.
Que puis-je faire avec Dataproc sans serveur pour Spark ?
Exécutez des tâches de streaming à l'aide des bibliothèques de streaming Spark. Remarque: Le streaming n'est pas un service géré. Vous devez donc gérer les points de contrôle et les redémarrages.
Entraînez des modèles à l'aide de Spark MLlib.
Utilisez des notebooks SQL interactifs pour l'exploration de données, les graphiques, les séries temporelles et les analyses géospatiales.
Orchestratez les charges de travail Dataproc sans serveur pour Spark avec Cloud Composer, un service Apache Airflow géré.
Comment configurer un plan d'exécution de la charge de travail ?
Vous pouvez exécuter des charges de travail simultanément ou de manière séquentielle. Votre plan d'exécution a un impact sur votre quota de ressources Google Cloud. Vous pouvez exécuter autant de charges de travail en parallèle que vos quotas de ressources de traitement par lot le permettent.
Puis-je utiliser une image personnalisée avec Dataproc sans serveur pour Spark ?
- Oui. Vous pouvez utiliser une image de conteneur personnalisée au lieu de l'image de conteneur par défaut. Consultez Utiliser des conteneurs personnalisés avec Dataproc sans serveur pour Spark.
Puis-je spécifier des ressources de mémoire et de disque pour les charges de travail Spark Dataproc sans serveur ?
Oui. Vous pouvez spécifier les niveaux de calcul et de disque de l'exécuteur et du pilote premium, ainsi que la quantité de ressources de calcul et de disque de l'exécuteur et du pilote à allouer lorsque vous envoyez une charge de travail (voir la section Propriétés d'allocation de ressources).
Comment puis-je spécifier la plage d'adresses IP de mon réseau VPC Dataproc sans serveur ?
Les charges de travail Dataproc sans serveur pour Spark s'exécutent dans votre environnement.
Chaque pilote et exécuteur Spark dans une charge de travail Spark sans serveur consomme une adresse IP interne dans votre réseau VPC Dataproc sans serveur.
/16 est une plage d'adresses CIDR typique spécifiée par l'utilisateur pour un réseau VPC Dataproc sans serveur.
Vous pouvez limiter la plage d'adresses IP de votre réseau en fonction du nombre de charges de travail simultanées que vous prévoyez d'exécuter.
Dataproc sans serveur est-il compatible avec la résidence des données ?
Oui. Vous spécifiez la région dans laquelle votre charge de travail est traitée. Recherchez vos ensembles de données d'entrée et de sortie dans la région spécifiée.
Comment Dataproc sans serveur sélectionne-t-il une zone dans la région spécifiée pour exécuter la charge de travail ?
Dataproc sans serveur sélectionne la zone Compute Engine dans laquelle il exécute une charge de travail en fonction de la capacité et de la disponibilité. Si une zone devient indisponible après le démarrage d'une charge de travail, celle-ci échoue et vous devez renvoyer la charge de travail ayant échoué.
Comment les charges de travail Dataproc sans serveur utilisent-elles les ressources de calcul ?
Chaque charge de travail s'exécute sur ses propres ressources de calcul. Les envois par lots multiples ne partagent ni ne réutilisent les ressources de calcul.
Bonnes pratiques :
Optimisez votre charge de travail pour les tâches de durée moyenne, et non pour les tâches de courte durée.
Persister les données auxquelles plusieurs charges de travail accèdent dans Cloud Storage.
Où puis-je trouver des informations sur les annonces, les fonctionnalités, les corrections de bugs, les problèmes connus et les abandons de Dataproc sans serveur ?
Consultez les notes de version de Dataproc sans serveur.
Les charges de travail simultanées se disputent-elles les ressources ?
Les charges de travail Dataproc sans serveur ne se disputent les ressources que si votre quota de ressources est insuffisant pour exécuter toutes les charges de travail exécutées simultanément. Sinon, les charges de travail sont complètement isolées les unes des autres.
Comment le quota Dataproc sans serveur est-il alloué ?
Les lots Dataproc sans serveur consomment des ressources Google Cloud. Pour en savoir plus, consultez la section Quotas Dataproc sans serveur.
Dois-je configurer un serveur d'historique persistant Dataproc ?
La configuration d'un serveur d'historique persistant (PHS) à utiliser avec Dataproc sans serveur est facultative.Vous pouvez utiliser le PHS pour afficher l'événement Spark et d'autres journaux dans un bucket Cloud Storage spécifié jusqu'à la période de rétention (TTL) standard de 90 jours du bucket de préproduction et de stockage temporaire Dataproc sans serveur.
Quels journaux Dataproc sans serveur Spark sont disponibles ?
Les journaux des pilotes et des exécuteurs Spark sont disponibles dans Cloud Logging pendant et après l'exécution de la charge de travail Spark. De plus, les applications Spark sont visibles dans l'interface Web du serveur d'historique persistant (PHS) pendant l'exécution de la charge de travail (sélectionnez PHS > Applications incomplètes dans l'UI du PHS).
Si vous configurez un PHS Dataproc, il fournit un accès persistant aux journaux d'événements Spark enregistrés dans Cloud Storage, qui fournissent des insights sur l'exécution de l'application Spark, tels que les événements DAG et d'exécuteur.
Puis-je définir le nombre d'exécuteurs pour ma charge de travail Spark ?
Oui. Vous pouvez définir le nombre d'exécuteurs pour une charge de travail Spark à l'aide de la propriété spark.executor.instances. Toutefois, le nombre total de cœurs qu'une charge de travail peut utiliser est plus important que le nombre d'exécutants, car Spark exécute une tâche par cœur. Par exemple, si une charge de travail comporte quatre exécuteurs avec deux cœurs chacun, elle exécute des tâches 4 * 2 = 8 en même temps. Il exécutera également le même nombre de tâches pour une charge de travail qui comporte deux exécuteurs avec quatre cœurs chacun. Étant donné que le nombre de cœurs pour chaque charge de travail est le même, elles exécutent le même nombre de tâches. Vous pouvez utiliser la propriété spark.executor.cores pour définir le nombre de cœurs par exécuteur pour votre charge de travail Dataproc sans serveur.
Quelles métriques Spark Dataproc sans serveur utilise-t-il pour l'autoscaling ?
Dataproc sans serveur pour Spark examine les métriques d'allocation dynamique maximum-needed et running de Spark pour déterminer s'il faut augmenter ou réduire l'échelle.
Consultez Autoscaling Dataproc sans serveur pour Spark.
Puis-je configurer le comportement d'autoscaling de Dataproc sans serveur à l'aide de propriétés Spark ?
Oui. L'autoscaling Dataproc sans serveur est basé sur l'allocation dynamique Spark et est activé par défaut. Vous pouvez ajuster les propriétés Spark et les propriétés d'allocation dynamique Spark suivantes:
spark.executor.instancesspark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.minExecutorsspark.dynamicAllocation.maxExecutors
Pourquoi dois-je empaqueter mon code dans un fichier JAR pour envoyer ma charge de travail Spark ?
Spark est écrit en Scala, ce qui signifie que le pilote et les processus de nœud de calcul fonctionnent comme des processus JVM. Dans les langages JVM, le fichier JAR est le principal moyen de empaqueter le code. Vous transmettez le fichier JAR à Dataproc sans serveur lorsque vous envoyez une charge de travail.