Apache Hadoop
Apache Hive
-
Transmitir un tema de Kafka a Hive
Usar un clúster de Dataproc para transmitir un tema de Kafka a tablas de Apache Hive en Cloud Storage y, luego, consultar los datos transmitidos
-
Usa Apache Hive en Dataproc
Aprende a implementar las cargas de trabajo de Apache Hive con eficiencia en Dataproc.
Apache Kafka
Apache Spark
-
Métodos de Monte Carlo con Dataproc y Apache Spark
Ejecutar simulaciones de Monte Carlo en Python y Scala con Dataproc y Apache Spark
-
Usa BigQuery y Spark ML para el aprendizaje automático
Usa Dataproc, BigQuery y Apache Spark ML para el aprendizaje automático
-
Usa el conector de BigQuery con Apache Spark
Sigue el código de ejemplo que usa el conector de BigQuery para Apache Hadoop con Apache Spark.
-
Usa el conector de Spanner de Spark con Apache Spark
Sigue el código de ejemplo que usa el conector de Spark Spanner para Apache Hadoop con Apache Spark.
-
Usa el conector de Cloud Storage con Apache Spark
Sigue el código de ejemplo que usa el conector de Cloud Storage para Apache Hadoop con Apache Spark.
-
Escribe y ejecuta trabajos de Spark Scala
Crea y envía trabajos de Spark Scala con Dataproc.
Conectores
-
Usa el conector de BigQuery con Apache Spark
Sigue el código de ejemplo que usa el conector de BigQuery para Apache Hadoop con Apache Spark.
-
Usa el conector de Spanner de Spark con Apache Spark
Sigue el código de ejemplo que usa el conector de Spark Spanner para Apache Hadoop con Apache Spark.
-
Usa el conector de Cloud Storage con Apache Spark
Sigue el código de ejemplo que usa el conector de Cloud Storage para Apache Hadoop con Apache Spark.
-
Escribe un trabajo de MapReduce con el conector de BigQuery
Sigue el código de ejemplo que te muestra cómo escribir un trabajo de MapReduce con el conector de BigQuery para Apache Hadoop.
Lenguajes
-
Configurar el entorno de Python de Dataproc
Configura Python para ejecutar trabajos de PySpark en tu clúster de Dataproc.
-
Usa las bibliotecas cliente de Cloud para Python
Usa las bibliotecas cliente de Cloud para que las APIs de Python interactúen de manera programática con Dataproc.
-
Escribe y ejecuta trabajos de Spark Scala
Crea y envía trabajos de Spark Scala con Dataproc.
Notebooks
-
Descripción general de Dataproc Hub
Comprende los conceptos básicos de Dataproc Hub.
-
Configura un Dataproc Hub
Configura Dataproc Hub para abrir la IU de JupyterLab en clústeres de Dataproc de usuario único.
-
Usa un Dataproc Hub
Usa una instancia de Dataproc Hub para abrir la IU de JupyterLab en un clúster de Dataproc de un solo usuario.
-
Instala y ejecuta un notebook de Jupyter
Instala, ejecuta y accede a un notebook de Jupyter en un clúster de Dataproc.
-
Ejecuta un análisis genómico en un notebook de JupyterLab en Dataproc
Ejecuta un análisis de genómica de una sola celda con Dask, NVIDIA RAPIDS y GPU en un notebook de JupyterLab alojado en un clúster de Dataproc.