Tutoriais

Apache Hadoop

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Apache Hive

• Usar o Apache Hive no Dataproc

  Saiba como implantar cargas de trabalho do Apache Hive com eficiência no Dataproc.

Apache Spark

• Métodos Monte Carlo com o Dataproc e o Apache Spark

  Executar simulações Monte Carlo em Python e Scala com o Dataproc e o Apache Spark

• Usar o BigQuery e o Spark ML para machine learning

  Usar o Dataproc, o BigQuery e o Apache Spark ML para aprendizado de máquina

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Dataproc

Conectores

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Linguagens

• Configurar o ambiente Python do Dataproc

  Configure o Python para executar jobs do PySpark no seu cluster do Dataproc.

• Usar a biblioteca de cliente do Python

  Use as bibliotecas de cliente do Cloud para APIs do Python para interagir de maneira programática com o Dataproc.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Dataproc

Notebooks

• Visão geral do Dataproc Hub

  Noções básicas do Dataproc Hub.

• Configurar um hub do Dataproc

  Configurar o Dataproc Hub para abrir a IU do JupyterLab em clusters de Dataproc de usuário único.

• Usar um hub do Dataproc

  Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster do Dataproc de usuário único.

• Instalar e executar um notebook do Jupyter

  Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc

• Executar notebooks do Vertex AI Workbench em clusters do Dataproc

  Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.

• Executar uma análise genômica em um notebook do JupyterLab no Dataproc

  Executar uma análise genômica de célula única usando o Dask, o NVIDIA RAPIDS e as GPUs em um notebook JupyterLab hospedado em um cluster do Dataproc.

Trino

• Usar o Trino com o Dataproc

  Instalar e usar o Trino (antigo Presto) com o Dataproc

Fluxos de trabalho

• Fluxo de trabalho usando o Cloud Composer

  Acione um modelo de fluxo de trabalho com o Cloud Composer.

• Fluxo de trabalho usando o Cloud Functions

  Acione um modelo de fluxo de trabalho com uma função do Cloud.

• Fluxo de trabalho usando o Cloud Scheduler

  Acione um fluxo de trabalho do Cloud Scheduler.