Les composants sans serveur Dataproc vous permettent d'exécuter des charges de travail par lot Apache Spark à partir d'un pipeline dans Vertex AI Pipelines. Dataproc sans serveur exécute les charges de travail par lot sur une infrastructure de calcul gérée en effectuant un autoscaling des ressources selon les besoins.
Apprenez-en davantage sur Dataproc sans serveur et les charges de travail Spark compatibles.
Dans Dataproc sans serveur, une ressource Batch représente une charge de travail par lot.
Le SDK des composants du pipeline Google Cloud contient les opérateurs suivants permettant de créer des ressources Batch et surveiller leur exécution :
Documentation de référence de l'API
Pour en savoir plus sur les composants, consultez la documentation de référence du SDK des composants du pipeline Google Cloud pour les composants Dataproc sans serveur.
Pour en savoir plus sur les ressources Dataproc sans serveur, consultez la page de référence de l'API suivante :
- Ressource
Batch
- Ressource
Tutoriels
Historique des versions et notes de version
Pour en savoir plus sur l'historique des versions et les modifications apportées au SDK des composants du pipeline Google Cloud, consultez les notes de version du SDK des composants du pipeline Google Cloud.
Contacts pour l'assistance technique
Si vous avez des questions, veuillez contacter kfp-dataproc-components@google.com.