Tutoriais

Apache Hadoop

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Apache Hive

• Usar o Apache Hive no Dataproc

  Saiba como implantar cargas de trabalho do Apache Hive de forma eficiente no Dataproc.

Apache Spark

• Métodos Monte Carlo com o Dataproc e o Apache Spark

  Execute simulações Monte Carlo em Python e Scala com o Dataproc e o Apache Spark.

• Usar o BigQuery e o Spark ML para machine learning

  Usar o Dataproc, o BigQuery e o Apache Spark ML para aprendizado de máquina

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar e executar jobs do Spark Scala

  Crie e envie jobs do Spark Scala com o Dataproc.

Conectores

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Linguagens

• Configurar o ambiente Python do Dataproc

  Configure o Python para executar jobs do PySpark no cluster do Dataproc.

• Usar a biblioteca de cliente do Python

  Use as bibliotecas de cliente do Cloud para APIs do Python para interagir de maneira programática com o Dataproc.

• Executar o RStudio® Server em um cluster do Dataproc

  Saiba como executar o RStudio Server em um cluster do Dataproc e acessar a IU da Web do RStudio na máquina local.

• Gravar e executar jobs do Spark Scala

  Crie e envie jobs do Spark Scala com o Dataproc.

Notebooks

• Visão geral do Dataproc Hub

  Noções básicas do Dataproc Hub.

• Configurar um hub do Dataproc

  Configurar o Dataproc Hub para abrir a IU do JupyterLab em clusters do Dataproc de usuário único.

• Usar um Dataproc Hub

  Usar uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster do Dataproc de usuário único.

• Instalar e executar um notebook do Jupyter

  Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc

• Executar notebooks do Vertex AI Workbench em clusters do Dataproc

  Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.

Presto

• Usar Presto com o Dataproc

  Instalar e usar o Presto com o Dataproc

Workflows

• Fluxo de trabalho usando o Cloud Composer

  Acionar um modelo de fluxo de trabalho com o Cloud Composer

• Fluxo de trabalho usando o Cloud Functions

  Acionar um modelo de fluxo de trabalho com uma função do Cloud

• Fluxo de trabalho usando o Cloud Scheduler

  Acionar um fluxo de trabalho do Cloud Scheduler