Instructivos

Apache Hadoop

• Escribe un trabajo de MapReduce con el conector de BigQuery

  Sigue el código de ejemplo que te muestra cómo escribir un trabajo de MapReduce con el conector de BigQuery para Apache Hadoop.

Apache Hive

• Transmite un tema de Kafka a Hive

  Usar un clúster de Dataproc para transmitir un tema de Kafka en las tablas de Apache Hive en Cloud Storage y, luego, consultar los datos transmitidos

• Usa Apache Hive en Dataproc

  Aprende a implementar las cargas de trabajo de Apache Hive con eficiencia en Dataproc.

Apache Kafka

• Transmite un tema de Kafka a Hive

  Usar un clúster de Dataproc para transmitir un tema de Kafka en las tablas de Apache Hive en Cloud Storage y, luego, consultar los datos transmitidos

Apache Spark

• Métodos de Monte Carlo con Dataproc y Apache Spark

  Ejecuta simulaciones de Monte Carlo en Python y Scala con Dataproc y Apache Spark.

• Usa BigQuery y Spark ML para el aprendizaje automático

  Usa Dataproc, BigQuery y Apache Spark ML para el aprendizaje automático

• Usa el conector de BigQuery con Apache Spark

  Sigue el código de ejemplo que usa el conector de BigQuery para Apache Hadoop con Apache Spark.

• Usa el conector de Cloud Storage con Apache Spark

  Sigue el código de ejemplo que usa el conector de Cloud Storage para Apache Hadoop con Apache Spark.

• Escribe y ejecuta trabajos de Spark Scala

  Crea y envía trabajos de Spark Scala con Dataproc.

Conectores

• Usa el conector de BigQuery con Apache Spark

  Sigue el código de ejemplo que usa el conector de BigQuery para Apache Hadoop con Apache Spark.

• Usa el conector de Cloud Storage con Apache Spark

  Sigue el código de ejemplo que usa el conector de Cloud Storage para Apache Hadoop con Apache Spark.

• Escribe un trabajo de MapReduce con el conector de BigQuery

  Sigue el código de ejemplo que te muestra cómo escribir un trabajo de MapReduce con el conector de BigQuery para Apache Hadoop.

Lenguajes

• Configurar el entorno de Python de Dataproc

  Configurar Python para ejecutar trabajos de PySpark en tu clúster de Dataproc

• Usa las bibliotecas cliente de Cloud para Python

  Usa las bibliotecas cliente de Cloud para las API de Python a fin de interactuar de manera programática con Dataproc.

• Escribe y ejecuta trabajos de Spark Scala

  Crea y envía trabajos de Spark Scala con Dataproc.

Notebooks

• Descripción general de Dataproc Hub

  Comprende los conceptos básicos de Dataproc Hub.

• Configura un Dataproc Hub

  Configurar Dataproc Hub para abrir la IU de JupyterLab en clústeres de Dataproc de un solo usuario

• Use Dataproc Hub

  Usa una instancia de Dataproc Hub para abrir la IU de JupyterLab en un clúster de Dataproc de un solo usuario.

• Instala y ejecuta un notebook de Jupyter

  Instala, ejecuta y accede a un notebook de Jupyter en un clúster de Dataproc.

• Ejecutar notebooks de Vertex AI Workbench en clústeres de Dataproc

  Ejecutar el archivo de notebook de una instancia administrada en un clúster de Dataproc.

• Ejecutar un análisis genómico en un notebook de JupyterLab en Dataproc

  Ejecutar un análisis genómico de una sola celda con Dask, NVIDIA RAPIDS y GPU en un notebook de JupyterLab alojado en un clúster de Dataproc

Trino

• Usa Trino con Dataproc

  Instalar y usar Trino (anteriormente Presto) con Dataproc

Flujos de trabajo

• Flujo de trabajo con Cloud Composer

  Activa una plantilla de flujo de trabajo con Cloud Composer

• Flujo de trabajo con Cloud Functions

  Activa una plantilla de flujo de trabajo con una Cloud Function

• Flujo de trabajo con Cloud Scheduler

  Activar un flujo de trabajo de Cloud Scheduler