Dataproc sans serveur vous permet d'exécuter des charges de travail Spark sans vous obliger pour provisionner et gérer votre propre cluster Dataproc. Il existe deux façons d'exécuter des charges de travail Dataproc sans serveur:
Dataproc sans serveur pour Spark Batch
Utiliser la console Google Cloud, Google Cloud CLI ou l'API Dataproc pour envoyer une charge de travail par lot au service Dataproc sans serveur. Le service s'exécutera la charge de travail sur une infrastructure de calcul gérée, en adaptant les ressources selon les besoins. Les frais Dataproc sans serveur ne s'appliquent qu'aux l'heure d'exécution de la charge de travail.
Pour commencer, consultez Exécutez une charge de travail par lot Apache Spark.
Dataproc sans serveur pour Spark Interactive
Écrire et exécuter du code dans des notebooks Jupyter lors d'une migration Dataproc sans serveur pour Session Spark interactive. Vous pouvez créer une session de notebook dans les différentes manières:
Utilisez le plug-in Dataproc JupyterLab pour créer plusieurs notebooks à partir de modèles que vous créez et gérez. Lorsque vous installez sur une machine locale ou sur une VM Compute Engine, sur différentes cartes correspondant à différentes configurations de noyau Spark apparaissent Page du lanceur d'applications JupyterLab Cliquez sur une fiche pour créer une instance Dataproc sans serveur une session de notebook, puis commencez à écrire et à tester votre code dans le notebook.
Le plug-in Dataproc JupyterLab vous permet également utilisez la page du lanceur d'applications JupyterLab pour:
- Créer des clusters Dataproc sur Compute Engine
- Envoyer des jobs à des clusters Dataproc sur Compute Engine
- Afficher les journaux Google Cloud et Spark
Pour commencer, consultez Utilisez JupyterLab pour les sessions de notebook interactives et par lot sans serveur.
Dataproc sans serveur pour Spark par rapport à Dataproc sur Compute Engine
Dataproc sur Compute Engine est idéal pour provisionner et gérer l'infrastructure, puis exécuter sur Spark et d'autres frameworks de traitement Open Source. Le tableau suivant répertorie les principales différences entre les API Dataproc on Compute Engine et Dataproc sans serveur pour Spark.
| Capacité | Dataproc sans serveur pour Spark | Dataproc sur Compute Engine |
|---|---|---|
| Frameworks de traitement | Lot: Spark 3.4 et versions antérieures Interactive: noyaux PySpark pour Spark 3.4 et versions antérieures |
Spark 3.3 et versions antérieures. D'autres frameworks Open Source, tels que Hive, Flink, Trino et Kafka |
| Sans serveur | Oui | Non |
| Temps de démarrage | 60s | Années 90 |
| Contrôle de l'infrastructure | Non | Oui |
| Gestion des ressources | Basé sur Spark | Basé sur YARN |
| Compatibilité avec les GPU | Oui | Oui |
| Sessions interactives | Oui | Non |
| Conteneurs personnalisés | Oui | Non |
| Accès à la VM (par exemple, SSH) | Non | Oui |
| Versions de Java | Java 17 et 11 | Versions précédentes compatibles |
OS Login
* |
Non | Oui |
Remarques :
- Une règle OS Login n'est ni applicable ni compatible avec Dataproc sans serveur.
Si votre organisation applique une règle
OS Login, ses charges de travail sans serveur Dataproc échouera.
Conformité de Dataproc en matière de sécurité sans serveur
Dataproc sans serveur respecte toutes les règles de résidence des données. CMEK VPC-SC et d'autres exigences de sécurité que Dataproc est conforme.
Fonctionnalités Dataproc sans serveur pour les charges de travail par lot Spark
Vous pouvez exécuter les commandes Dataproc suivantes Pour les types de charges de travail par lot Spark:
- Pyspark
- Spark SQL
- Spark R
- Spark (Java ou Scala)
Vous pouvez spécifier des propriétés Spark. lorsque vous soumettez une charge de travail par lot Dataproc sans serveur pour Spark.