Dataproc sans serveur vous permet d'exécuter des charges de travail Spark sans avoir à provisionner et à gérer votre propre cluster Dataproc. Il existe deux façons d'exécuter des charges de travail Dataproc sans serveur:
Dataproc sans serveur pour Spark Batch
Utilisez la console Google Cloud, la Google Cloud CLI ou l'API Dataproc pour envoyer une charge de travail par lot au service Dataproc sans serveur. Le service exécute la charge de travail sur une infrastructure de calcul gérée, en procédant à un autoscaling des ressources si nécessaire. Les frais pour Dataproc sans serveur ne s'appliquent qu'au moment de l'exécution de la charge de travail.
Pour commencer, consultez la page Exécuter une charge de travail par lot Apache Spark.
Dataproc sans serveur pour Spark Interactive
Écrire et exécuter du code dans des notebooks Jupyter lors d'une session Dataproc sans serveur pour Spark Interactive. Vous pouvez créer une session de notebook de différentes manières:
Utilisez le plug-in Dataproc JupyterLab pour créer plusieurs sessions de notebook à partir des modèles que vous créez et gérez. Lorsque vous installez le plug-in sur une machine locale ou sur une VM Compute Engine, différentes cartes correspondant à différentes configurations de noyau Spark apparaissent sur la page du lanceur de JupyterLab. Cliquez sur une fiche pour créer une session de notebook Dataproc sans serveur, puis commencez à écrire et à tester votre code dans le notebook.
Le plug-in Dataproc JupyterLab vous permet également d'utiliser la page du lanceur d'applications JupyterLab pour:
- Créer des clusters Dataproc sur Compute Engine
- Envoyer des jobs à des clusters Dataproc sur Compute Engine
- Afficher les journaux Google Cloud et Spark
Pour commencer, consultez Utiliser JupyterLab pour les sessions de notebook interactives et par lot sans serveur.
Dataproc sans serveur pour Spark par rapport à Dataproc sur Compute Engine
Dataproc sur Compute Engine est idéal si vous souhaitez provisionner et gérer une infrastructure, puis exécuter des charges de travail sur Spark et d'autres frameworks de traitement Open Source. Le tableau suivant répertorie les principales différences entre Dataproc sur Compute Engine et Dataproc sans serveur pour Spark.
| Capacité | Dataproc sans serveur pour Spark | Dataproc sur Compute Engine |
|---|---|---|
| Frameworks de traitement | Lot: Spark 3.4 et versions antérieures Interactive: noyaux PySpark pour Spark 3.4 et versions antérieures |
Spark 3.3 et versions antérieures. D'autres frameworks Open Source, tels que Hive, Flink, Trino et Kafka |
| Sans serveur | Oui | Non |
| Temps de démarrage | 60s | Années 90 |
| Contrôle de l'infrastructure | Non | Oui |
| Gestion des ressources | Basé sur Spark | Basé sur YARN |
| Compatibilité avec les GPU | Yes | Oui |
| Sessions interactives | Oui | Non |
| Conteneurs personnalisés | Yes | Non |
| Accès à la VM (par exemple, SSH) | Non | Oui |
| Versions de Java | Java 17 et 11 | Versions précédentes compatibles |
Assistance OS Login * |
Non | Oui |
Remarques :
- Une règle OS Login n'est ni applicable ni compatible avec Dataproc sans serveur.
Si votre organisation applique une règle
OS Login, ses charges de travail Dataproc sans serveur échouent.
Conformité de Dataproc en matière de sécurité sans serveur
Dataproc sans serveur respecte toutes les exigences de résidence des données, CMEK, VPC-SC et autres exigences de sécurité auxquelles Dataproc est conforme.
Fonctionnalités Dataproc sans serveur pour les charges de travail par lot Spark
Vous pouvez exécuter les types de charges de travail par lot Dataproc sans serveur suivants pour Spark:
- Pyspark
- Spark SQL
- Spark R
- Spark (Java ou Scala)
Vous pouvez spécifier des propriétés Spark lorsque vous envoyez une charge de travail par lot Dataproc sans serveur pour Spark.