Apache Hadoop
Apache Hive
-
Kafka-Thema in Hive streamen
Verwenden Sie einen Dataproc-Cluster, um ein Kafka-Thema in Apache Hive-Tabellen in Cloud Storage zu streamen und dann die gestreamten Daten abzufragen.
-
Apache Hive in Dataproc verwenden
Hier erfahren Sie, wie Sie Apache Hive-Arbeitslasten effizient in Dataproc bereitstellen.
Apache Kafka
Apache Spark
-
Monte-Carlo-Methoden mit Dataproc und Apache Spark
Monte Carlo-Simulationen in Java, Python und Scala mit Dataproc und Apache Spark ausführen
-
BigQuery und Spark ML für maschinelles Lernen verwenden
Dataproc, BigQuery und Apache Spark ML für maschinelles Lernen verwenden
-
BigQuery-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der BigQuery-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Spark Spanner-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Spark Spanner-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Cloud Storage-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Cloud Storage-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Spark Scala-Jobs schreiben und ausführen
Spark Scala-Jobs mit Dataproc erstellen und ausführen
Connectors
-
BigQuery-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der BigQuery-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Spark Spanner-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Spark Spanner-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
Cloud Storage-Connector mit Apache Spark verwenden
Beispielcode ansehen, in dem der Cloud Storage-Connector für Apache Hadoop mit Apache Spark verwendet wird
-
MapReduce-Job mit dem BigQuery-Connector schreiben
Beispielcode ansehen, der zeigt, wie mit dem BigQuery-Connector für Apache Hadoop ein MapReduce-Job geschrieben wird
Sprachen
-
Dataproc-Python-Umgebung konfigurieren
Python zur Ausführung von PySpark-Jobs auf einem Dataproc-Cluster konfigurieren.
-
Cloud-Clientbibliotheken für Python verwenden
Mit Cloud-Clientbibliotheken für Python APIs programmatisch mit Dataproc interagieren
-
Spark Scala-Jobs schreiben und ausführen
Spark Scala-Jobs mit Dataproc erstellen und ausführen
Notebooks
-
Übersicht über Dataproc Hub
Grundlagen von Dataproc Hub
-
Dataproc-Hub konfigurieren
Konfigurieren Sie Dataproc Hub, um die JupyterLab-UI in Dataproc-Clustern mit einem Nutzer zu öffnen.
-
Dataproc-Hub verwenden
Verwenden Sie eine Dataproc Hub-Instanz, um die JupyterLab-UI in einem Dataproc-Cluster mit einem einzelnen Nutzer zu öffnen.
-
Jupyter-Notebook installieren und ausführen
Jupyter-Notebook auf einem Cloud Dataproc-Cluster installieren, ausführen und darauf zugreifen
-
Genomanalyse in einem JupyterLab-Notebook in Dataproc ausführen
Führen Sie eine Genomanalyse mit einer einzelnen Zelle mit Dask, NVIDIA RAPIDS und GPUs auf einem JupyterLab-Notebook aus, das in einem Dataproc-Cluster gehostet wird.