Modèles Dataproc

Utilisez les modèles Dataproc sur GitHub pour configurer et exécuter des charges de travail et des tâches Dataproc.

Les modèles sont fournis dans les langages et environnements d'exécution suivants:

  • Modèles d'orchestration Airflow : exécutez des tâches Spark à partir de DAG dans Airflow.
  • Modèles Java: exécutez des charges de travail ou des tâches Spark par lot sur un cluster Dataproc sans serveur ou sur un cluster Dataproc existant.
  • Modèles Python: exécutez des charges de travail par lot PySpark sur Dataproc sans serveur.
  • Modèles de notebook : exécutez des tâches Spark à l'aide de Vertex AI Notebooks.