Modèles Dataproc

Pour configurer et exécuter des charges de travail et des jobs Dataproc, utilisez les modèles Dataproc sur GitHub.

Les modèles sont fournis dans les environnements d'exécution et de langage suivants :

  • Modèles d'orchestration Airflow : exécutez des jobs Spark à partir de DAG dans Airflow.
  • Modèles Java : exécutez des charges de travail ou des jobs Spark par lot sur Google Cloud Serverless pour Apache Spark ou sur un cluster Dataproc existant.
  • Modèles Python : exécutez des charges de travail par lot PySpark sur Google Cloud Serverless pour Apache Spark.
  • Modèles de notebooks : exécutez des jobs Spark à l'aide de notebooks Vertex AI.