Tutoriais

Apache Hadoop

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Apache Hive

• Fazer streaming de um tópico do Kafka para o Hive

  Usar um cluster do Dataproc para fazer streaming de um tópico do Kafka para tabelas do Apache Hive no Cloud Storage e, em seguida, consultar os dados transmitidos.

• Usar o Apache Hive no Dataproc

  Saiba como implantar cargas de trabalho do Apache Hive com eficiência no Dataproc.

Apache Kafka

• Fazer streaming de um tópico do Kafka para o Hive

  Usar um cluster do Dataproc para fazer streaming de um tópico do Kafka para tabelas do Apache Hive no Cloud Storage e, em seguida, consultar os dados transmitidos.

Apache Spark

• Métodos Monte Carlo com o Dataproc e o Apache Spark

  Execute simulações Monte Carlo em Python e Scala com o Dataproc e o Apache Spark.

• Usar o BigQuery e o Spark ML para machine learning

  Usar o Dataproc, o BigQuery e o Apache Spark ML para aprendizado de máquina

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Dataproc

Conectores

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Linguagens

• Configurar o ambiente Python do Dataproc

  Configure o Python para executar jobs do PySpark no cluster do Dataproc.

• Usar a biblioteca de cliente do Python

  Use as bibliotecas de cliente do Cloud para APIs do Python para interagir de maneira programática com o Dataproc.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Dataproc

Notebooks

• Visão geral do Dataproc Hub

  Noções básicas do Dataproc Hub.

• Configurar um hub do Dataproc

  Configure o Dataproc Hub para abrir a IU do JupyterLab em clusters de usuário único do Dataproc.

• Usar um hub do Dataproc

  Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster de usuário único do Dataproc.

• Instalar e executar um notebook do Jupyter

  Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc

• Executar notebooks do Vertex AI Workbench em clusters do Dataproc

  Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.

• Executar uma análise genômica em um notebook JupyterLab no Dataproc

  Execute uma análise genômica de célula única usando Dask, NVIDIA RAPIDS e GPUs em um notebook do JupyterLab hospedado em um cluster do Dataproc.

Trino

• Usar o Trino com o Dataproc

  Instale e use o Trino (antigo Presto) com o Dataproc.

Fluxos de trabalho

• Fluxo de trabalho usando o Cloud Composer

  Acione um modelo de fluxo de trabalho com o Cloud Composer.

• Fluxo de trabalho usando o Cloud Functions

  Acione um modelo de fluxo de trabalho com uma Função do Cloud.

• Fluxo de trabalho usando o Cloud Scheduler

  Acione um fluxo de trabalho do Cloud Scheduler.