Apache Hadoop
Apache Hive
-
Transmitir um tópico do Kafka para o Hive
Usar um cluster do Dataproc para fazer streaming de um tópico do Kafka para as tabelas do Apache Hive no Cloud Storage e consultar os dados de streaming.
-
Usar o Apache Hive no Dataproc
Saiba como implantar com eficiência as cargas de trabalho do Apache Hive no Dataproc.
Apache Kafka
Apache Spark
-
Métodos Monte Carlo com o Dataproc e o Apache Spark
Executar simulações Monte Carlo em Python e Scala com o Dataproc e o Apache Spark
-
Usar o BigQuery e o Spark ML para machine learning
Usar o Dataproc, o BigQuery e o Apache Spark ML para aprendizado de máquina
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Spark Spanner com o Apache Spark
Confira o exemplo de código que usa o conector Spark Spanner para Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Dataproc
Conectores
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Spark Spanner com o Apache Spark
Confira o exemplo de código que usa o conector Spark Spanner para Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar um job do MapReduce com o conector do BigQuery
Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.
Linguagens
-
Configurar o ambiente Python do Dataproc
Configure o Python para executar jobs do PySpark no cluster do Dataproc.
-
Usar a biblioteca de cliente do Python
Use as bibliotecas de cliente do Cloud para APIs Python para interagir programaticamente com o Dataproc.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Dataproc
Notebooks
-
Visão geral do Dataproc Hub
Noções básicas do Dataproc Hub.
-
Configurar um hub do Dataproc
Configure o Dataproc Hub para abrir a interface do JupyterLab em clusters do Dataproc de usuário único.
-
Usar um Dataproc Hub
Use uma instância do Dataproc Hub para abrir a interface do JupyterLab em um cluster do Dataproc de usuário único.
-
Instalar e executar um notebook do Jupyter
Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc
-
Executar uma análise genômica em um notebook do JupyterLab no Dataproc
Execute uma análise genômica de célula única usando Dask, NVIDIA RAPIDS e GPUs em um notebook do JupyterLab hospedado em um cluster do Dataproc.