Tarefas básicas e comuns
-
Crie um cluster
Crie um cluster usando o Console do Google Cloud ou a ferramenta de linha de comando gcloud.
-
Criar uma imagem personalizada
Saiba como criar uma imagem personalizada e instalá-la em um cluster do Dataproc.
-
Criar e gerenciar rótulos
Criar e gerenciar rótulos de usuário do Dataproc.
-
Gerenciar dependências Java e Scala para o Spark
Aprenda a gerenciar dependências Java e Scala e resolver conflitos de aplicativos Apache Spark.
-
Gerenciar um cluster
Atualizar ou encerrar um cluster.
-
Gerar jobs no Google Kubernetes Engine Beta
Execute jobs do Dataproc em um cluster do GKE.
-
Configure um projeto
Configure um novo projeto para usar o Dataproc.
-
Como iniciar e interromper clusters
Inicie e interrompa um cluster do Dataproc.
-
Envie um job
Envie diferentes tipos de job usando o Console do Google Cloud, a ferramenta de linha de comando gcloud ou o SSHing em uma instância de cluster.
Dataproc Hub
-
Visão geral do Dataproc Hub
Noções básicas do Dataproc Hub.
-
Configurar um hub do Dataproc
Configurar o Dataproc Hub para abrir a IU do JupyterLab em clusters do Dataproc de um único usuário.
-
Usar um Hub do Dataproc
Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster do Dataproc de usuário único.
título: "Dataproc Hub" path: /dataproc/docs/tutorials/dataproc-hub-overview seção: - title: "Configurar Dataproc Hub" path: /dataproc/docs/tutorials/dataproc-hub-admins - title: "Usar o Dataproc Hub" path: /dataproc/docs/tutorials/dataproc-hub-users
Como gerar registros e monitorar
-
Saída do driver do job
Use o console, a ferramenta de linha de comando gcloud ou o Cloud Storage para ver a saída do driver do job do Dataproc.
-
Cloud Logging
Use o Cloud Logging para visualizar os registros de cluster e job do Dataproc.
-
Cloud Monitoring
Use o Cloud Monitoring para visualizar métricas de cluster do Dataproc.
-
Cloud Profiler
Use o Cloud Profiler para criar o perfil do uso da CPU do job do Spark e do Hadoop e da alocação de memória.
Como migrar para o Dataproc
-
Migrar dados do HDFS
Migrar dados de um sistema de arquivos do Hadoop (HDFS, na sigla em inglês) para o Cloud Storage para uso com o Dataproc e outros serviços.
-
Como migrar clusters
Migre os clusters do Apache Spark e do Apache Hadoop para o Dataproc.
-
Como migrar jobs
Migre jobs de Spark, Hadoop, Hive, Pig e outros tipos para o Dataproc.