Guias de instruções

Tarefas básicas e comuns

• Crie um cluster

  Crie um cluster usando o Console do Google Cloud ou a ferramenta de linha de comando gcloud.

• Criar uma imagem personalizada

  Saiba como criar uma imagem personalizada e instalá-la em um cluster do Dataproc.

• Criar e gerenciar rótulos

  Criar e gerenciar rótulos de usuário do Dataproc.

• Gerenciar dependências Java e Scala para o Spark

  Aprenda a gerenciar dependências Java e Scala e resolver conflitos de aplicativos Apache Spark.

• Gerenciar um cluster

  Atualizar ou encerrar um cluster.

• Gerar jobs no Google Kubernetes Engine ^Beta

  Execute jobs do Dataproc em um cluster do GKE.

• Configure um projeto

  Configure um novo projeto para usar o Dataproc.

• Envie um job

  Envie diferentes tipos de job usando o Console do Google Cloud, a ferramenta de linha de comando gcloud ou o SSHing em uma instância de cluster.

Registro e monitoramento

• Saída do driver do job

  Use o console, a ferramenta de linha de comando gcloud ou o Cloud Storage para ver a saída do driver do job do Dataproc.

• Cloud Logging

  Use o Cloud Logging para visualizar os registros de cluster e job do Dataproc.

• Cloud Monitoring

  Use o Cloud Monitoring para visualizar métricas de cluster do Dataproc.

• Cloud Profiler

  Use o Cloud Profiler para criar o perfil do uso da CPU do job do Spark e do Hadoop e da alocação de memória.

Como migrar para o Dataproc

• Migrar dados do HDFS

  Migrar dados de um sistema de arquivos do Hadoop (HDFS, na sigla em inglês) para o Cloud Storage para uso com o Dataproc e outros serviços.

• Como migrar clusters

  Migre os clusters do Apache Spark e do Apache Hadoop para o Dataproc.

• Como migrar jobs

  Migre jobs de Spark, Hadoop, Hive, Pig e outros tipos para o Dataproc.

\