Tâches courantes et principales
-
S'authentifier auprès de Dataproc
Découvrez comment vous authentifier auprès de Dataproc.
-
Créer un cluster
Créez un cluster à l'aide de la console Google Cloud ou de la Google Cloud CLI.
-
Créer un cluster partiel
Créez un cluster partiel comportant un nombre minimal de nœuds de calcul primaires.
-
Créer une image personnalisée
Découvrez comment créer une image personnalisée et l'installer sur un cluster Dataproc.
-
Créer et gérer des libellés
Créer et gérer des étiquettes utilisateur Dataproc
-
Gérer les dépendances Java et Scala pour Spark
Apprenez à gérer les dépendances Java et Scala et à résoudre les conflits pour les applications Apache Spark.
-
Gérer un cluster
Mettez à jour ou arrêtez un cluster.
-
Exécuter des notebooks Vertex AI Workbench sur des clusters Dataproc
Exécutez le fichier notebook d'une instance gérée sur un cluster Dataproc.
-
Configurer un projet
Configurez un nouveau projet pour utiliser Dataproc.
-
Démarrer et arrêter des clusters
Démarrer et arrêter un cluster Dataproc
-
Envoyer un job
Envoyez différents types de tâches à l'aide de la console Google Cloud, de Google Cloud CLI ou en vous connectant en SSH à une instance de cluster.
Dataproc sur GKE
-
Présentation de Dataproc sur GKE
Présentation de Dataproc sur GKE .
-
Guide de démarrage rapide: exécuter un job Spark sur Dataproc sur GKE
Créez un cluster virtuel Dataproc sur GKE, puis exécutez un job Spark sur le cluster virtuel.
-
Recréer et mettre à jour un cluster virtuel Dataproc sur GKE
Recréer et mettre à jour un cluster virtuel Dataproc sur GKE
-
Supprimer un cluster virtuel Dataproc sur GKE
Supprimez un cluster virtuel Dataproc sur GKE.
-
Images de conteneur Dataproc sur GKE personnalisées
Créer des images de conteneur Dataproc sur GKE
-
Diagnostiquer un cluster Dataproc sur GKE
Diagnostiquer un cluster Dataproc sur GKE
-
Rôles et identité IAM de Dataproc on GKE
Autorisations IAM Dataproc on GKE
-
Journalisation Dataproc sur GKE
Affichez les journaux Dataproc on GKE.
-
Pools de nœuds Dataproc sur GKE
Gérez les pools de nœuds Dataproc sur GKE.
-
Versions de Dataproc sur GKE
Informations sur la version de Dataproc sur GKE.
-
Effectuer le scaling d'un cluster Dataproc sur GKE
Découvrez comment effectuer le scaling d'un cluster Dataproc sur GKE.
Dataproc Hub
-
Présentation de Dataproc Hub
Découvrez les bases de Dataproc Hub.
-
Configurer une instance Dataproc Hub
Configurez Dataproc Hub pour ouvrir l'interface utilisateur JupyterLab sur les clusters Dataproc à utilisateur unique.
-
Utiliser Dataproc Hub
Utilisez une instance Dataproc Hub pour ouvrir l'interface utilisateur JupyterLab sur un cluster Dataproc à utilisateur unique.
Groupes de nœuds Dataproc
Modèles Dataproc
-
Modèles Dataproc
Utilisez des modèles Dataproc pour configurer et exécuter des charges de travail et des jobs Dataproc.
-
Journaux Dataproc
Utilisez Cloud Logging pour afficher les journaux de clusters et de tâches Dataproc.
-
Résultats et journaux des jobs Dataproc
Configurez et affichez le résultat du job Dataproc.
-
Afficher les journaux d'audit Dataproc
Afficher les journaux d'audit Dataproc
-
Cloud Monitoring
Utilisez Cloud Monitoring pour afficher les métriques du cluster Dataproc.
-
Créer des alertes de métriques Dataproc
Créer des alertes pour les métriques de cluster et de jobs Dataproc
-
Cloud Profiler
Utilisez Cloud Profiler pour profiler l'utilisation du processeur et l'allocation de mémoire des tâches Spark et Hadoop.
-
Migrer des données HDFS
Migrez des données d'un système de fichiers Hadoop (HDFS) vers Cloud Storage pour les utiliser avec Dataproc et d'autres services.
-
Migrer des clusters
Effectuez la migration de clusters Apache Spark et Apache Hadoop vers Dataproc.
-
Migrer des tâches
Déplacez des tâches Spark, Hadoop, Hive, Pig et autres vers Dataproc.