Wichtige und häufige Aufgaben
-
Bei Dataproc authentifizieren
Hier erfahren Sie, wie Sie sich bei Dataproc authentifizieren.
-
Cluster erstellen
Erstellen Sie einen Cluster mit der Google Cloud Console oder der Google Cloud CLI.
-
Teilcluster erstellen
Erstellen Sie einen Teilcluster mit einer Mindestanzahl von primären Workern.
-
Benutzerdefiniertes Image erstellen
Benutzerdefiniertes Image erstellen und in einem Dataproc-Cluster installieren.
-
Labels erstellen und verwalten
Dataproc-Nutzerlabels erstellen und verwalten
-
Java- und Scala-Abhängigkeiten für Spark verwalten
Hier erfahren Sie, wie Sie Java- und Scala-Abhängigkeiten verwalten und Konflikte bei Apache Spark-Anwendungen lösen.
-
Cluster verwalten
Einen Cluster aktualisieren oder herunterfahren.
-
Vertex AI Workbench-Notebooks auf Dataproc-Clustern ausführen
Führen Sie die Notebookdatei einer verwalteten Instanz in einem Dataproc-Cluster aus.
-
Projekt einrichten
Neues Projekt zur Verwendung von Dataproc einrichten
-
Cluster starten und beenden
Dataproc-Cluster starten und beenden
-
Job senden
Verschiedene Jobtypen mit der Google Cloud Console, der Google Cloud CLI oder über SSH an eine Clusterinstanz senden
Dataproc auf GKE
-
Dataproc in GKE – Übersicht
Übersicht über Dataproc in GKE .
-
Kurzanleitung: Spark-Job in Dataproc in GKE ausführen
Erstellen Sie einen virtuellen Dataproc on GKE-Cluster und führen Sie dann einen Spark-Job im virtuellen Cluster aus.
-
Virtuellen Dataproc on GKE-Cluster neu erstellen und aktualisieren
Virtuellen Dataproc on GKE-Cluster neu erstellen und aktualisieren.
-
Virtuellen Dataproc on GKE-Cluster löschen
Löschen Sie einen virtuellen Dataproc on GKE-Cluster.
-
Benutzerdefinierte Dataproc on GKE-Container-Images
So erstellen Sie Dataproc on GKE-Container-Images.
-
Dataproc on GKE-Cluster diagnostizieren
Hier erfahren Sie, wie Sie einen Dataproc on GKE-Cluster diagnostizieren.
-
IAM-Rollen und -Identität für Dataproc in GKE
IAM-Berechtigungen für Dataproc on GKE
-
Logging von Dataproc in GKE
Dataproc on GKE-Logs ansehen
-
Dataproc in GKE-Knotenpools
Dataproc on GKE-Knotenpools verwalten
-
Releaseversionen von Dataproc in GKE
Informationen zur Release-Version von Dataproc on GKE.
-
Dataproc on GKE-Cluster skalieren
Dataproc on GKE-Cluster skalieren
Dataproc-Hub
-
Übersicht über Dataproc Hub
Grundlagen von Dataproc Hub
-
Dataproc-Hub konfigurieren
Konfigurieren Sie Dataproc Hub, um die JupyterLab-UI in Dataproc-Clustern mit einem Nutzer zu öffnen.
-
Dataproc-Hub verwenden
Verwenden Sie eine Dataproc Hub-Instanz, um die JupyterLab-UI in einem Dataproc-Cluster mit einem einzelnen Nutzer zu öffnen.
Dataproc-Knotengruppen
Dataproc-Vorlagen
-
Dataproc-Vorlagen
Mit Dataproc-Vorlagen Dataproc-Arbeitslasten und -Jobs einrichten und ausführen
-
Dataproc-Logs
Verwenden Sie Cloud Logging, um Dataproc-Cluster- und Job-Logs anzuzeigen.
-
Dataproc-Jobausgabe und Logs
Dataproc-Jobausgabe konfigurieren und ansehen
-
Dataproc-Audit-Logs ansehen
Dataproc-Audit-Logs aufrufen
-
Cloud Monitoring
Verwenden Sie Cloud Monitoring, um Dataproc-Clustermesswerte anzuzeigen.
-
Dataproc-Messwertbenachrichtigungen erstellen
Benachrichtigungen zu Dataproc-Clustern und Jobmesswerten erstellen
-
Cloud Profiler
Verwenden Sie Cloud Profiler, um ein Profil für die CPU-Auslastung und die Arbeitsspeicherzuordnung von Spark- und Hadoop-Jobs zu erstellen.
-
HDFS-Daten migrieren
Migrieren Sie Daten von einem Hadoop-Dateisystem (HDFS) zu Cloud Storage, um Dataproc und andere Dienste zu verwenden.
-
Cluster migrieren
Migrieren Sie Apache Spark- und Apache Hadoop-Cluster zu Dataproc.
-
Jobs migrieren
Verschieben Sie Jobs vom Typ Spark, Hadoop, Hive, Pig usw. in Dataproc.