Tutoriais

Apache Hadoop

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Apache Hive

• Usar o Apache Hive no Dataproc

  Aprenda a implantar eficientemente as cargas de trabalho do Apache Hive no Cloud Dataproc.

Apache Spark

• Métodos Monte Carlo usando o Cloud Dataproc e o Apache Spark

  Executar simulações Monte Carlo em Python e Scala com o Cloud Dataproc e o Apache Spark

• Usar o BigQuery e o Spark ML para machine learning

  Usar o Cloud Dataproc, o BigQuery e o ML do Apache Spark para machine learning

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Cloud Dataproc

Conectores

• Usar o conector do BigQuery com o Apache Spark

  Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.

• Usar o conector do Cloud Storage com o Apache Spark

  Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.

• Gravar um job do MapReduce com o conector do BigQuery

  Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.

Linguagens

• Configurar o ambiente Python do cluster

  Configure o Python para executar jobs do PySpark no seu cluster (em inglês).

• Uso da biblioteca de cliente do Python

  Use as bibliotecas de cliente do Cloud para APIs Python a fim de interagir programaticamente com o Cloud Dataproc.

• Como executar o RStudio® Server em um cluster do Cloud Dataproc

  Aprenda a executar o RStudio Server em um cluster do Cloud Dataproc e acessar a IU da Web do RStudio a partir da sua máquina local.

• Gravar e executar jobs do Spark Scala

  Criar e enviar jobs do Spark Scala com o Cloud Dataproc

Notebooks

• Instalar e executar um notebook do Jupyter

  Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc

• Visão geral do Dataproc Hub

  Noções básicas do Dataproc Hub.

• Configurar um hub do Dataproc

  Configurar o Dataproc Hub para abrir a IU do JupyterLab em clusters do Dataproc de um único usuário.

• Usar um Hub do Dataproc

  Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster do Dataproc de usuário único.

Presto

• Usar Presto com o Dataproc

  Instale e use o Presto com o Cloud Dataproc (em inglês).

Workflows

• Fluxo de trabalho usando o Cloud Composer

  Acione um modelo de fluxo de trabalho com o Cloud Composer.

• Fluxo de trabalho usando o Cloud Functions

  Acionar um modelo de fluxo de trabalho com uma Função do Cloud.

• Fluxo de trabalho usando o Cloud Scheduler

  Acionar um fluxo de trabalho do Cloud Scheduler.