Apache Hadoop
Apache Hive
-
Kafka-Thema an Hive streamen
Mit einem Dataproc-Cluster können Sie ein Kafka-Thema in Apache Hive-Tabellen in Cloud Storage streamen und dann die gestreamten Daten abfragen.
-
Apache Hive in Dataproc verwenden
Anleitung zum effizienten Bereitstellen von Apache Hive-Arbeitslasten in Dataproc
Apache Kafka
Apache Spark
-
Monte-Carlo-Methoden mit Dataproc und Apache Spark
Monte Carlo-Simulationen in Java, Python und Scala mit Dataproc und Apache Spark ausführen
-
BigQuery und Spark ML für maschinelles Lernen verwenden
Dataproc, BigQuery und Apache Spark ML für maschinelles Lernen verwenden
-
BigQuery-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der BigQuery-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Cloud Storage-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Cloud Storage-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Spark Scala-Jobs schreiben und ausführen
Spark Scala-Jobs mit Dataproc erstellen und ausführen
Connectors
-
BigQuery-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der BigQuery-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Cloud Storage-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Cloud Storage-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
MapReduce-Job mit dem BigQuery-Connector schreiben
Beispielcode ansehen, der zeigt, wie mit dem BigQuery-Connector für Apache Hadoop ein MapReduce-Job geschrieben wird
Sprachen
-
Dataproc-Python-Umgebung konfigurieren
Konfigurieren Sie Python so, dass PySpark-Jobs in Ihrem Dataproc-Cluster ausgeführt werden.
-
Cloud-Clientbibliotheken für Python verwenden
Verwenden Sie Cloud-Clientbibliotheken für Python APIs, um programmatisch mit Dataproc zu interagieren.
-
Spark Scala-Jobs schreiben und ausführen
Spark Scala-Jobs mit Dataproc erstellen und ausführen
Notebooks
-
Übersicht über Dataproc Hub
Grundlagen von Dataproc Hub
-
Dataproc-Hub konfigurieren
Konfigurieren Sie Dataproc Hub, um die JupyterLab-UI auf Dataproc-Clustern für einzelne Nutzer zu öffnen.
-
Dataproc Hub verwenden
Mit einer Dataproc Hub-Instanz können Sie die JupyterLab-UI in einem Dataproc-Cluster für einzelne Nutzer öffnen.
-
Jupyter-Notebook installieren und ausführen
Jupyter-Notebook auf einem Cloud Dataproc-Cluster installieren, ausführen und darauf zugreifen
-
Vertex AI Workbench-Notebooks auf Dataproc-Clustern ausführen
Führen Sie die Notebookdatei einer verwalteten Instanz in einem Dataproc-Cluster aus.
-
Genomische Analysen in einem JupyterLab-Notebook auf Dataproc ausführen
Führen Sie eine einzellige Genomanalyse mit Dask, NVIDIA RAPIDS und GPUs auf einem JupyterLab-Notebook aus, das auf einem Dataproc-Cluster gehostet wird.