Tarefas básicas e comuns
-
Autenticar no Dataproc
Saiba como se autenticar no Dataproc.
-
criar um cluster
Crie um cluster usando o console do Google Cloud ou a Google Cloud CLI.
-
Criar um cluster parcial
Crie um cluster parcial com um número mínimo de workers principais.
-
Criar uma imagem personalizada
Saiba como criar uma imagem personalizada e instalá-la em um cluster do Dataproc.
-
Criar e gerenciar rótulos
Criar e gerenciar rótulos do usuário do Dataproc.
-
Gerenciar dependências Java e Scala para o Spark
Aprenda a gerenciar dependências Java e Scala e resolver conflitos de aplicativos Apache Spark.
-
Gerenciar um cluster
Atualizar ou encerrar um cluster.
-
Executar notebooks do Vertex AI Workbench em clusters do Dataproc
Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.
-
Configure um projeto
Configure um novo projeto para usar o Dataproc.
-
Como iniciar e interromper clusters
Inicie e interrompa um cluster do Dataproc.
-
Envie um job
Envie diferentes tipos de jobs usando o console do Google Cloud, a Google Cloud CLI ou SSH em uma instância de cluster.
Dataproc no GKE
-
Visão geral do Dataproc no GKE
Uma visão geral do Dataproc no GKE .
-
Guia de início rápido: executar um job do Spark no Dataproc no GKE
Crie um cluster virtual do Dataproc no GKE e execute um job do Spark nele.
-
Recriar e atualizar um cluster virtual do Dataproc no GKE
Recriar e atualizar um cluster virtual do Dataproc no GKE.
-
Excluir um cluster virtual do Dataproc no GKE
Excluir um cluster virtual do Dataproc no GKE.
-
Imagens de contêiner personalizadas do Dataproc em GKE
Como criar o Dataproc em imagens de contêiner do GKE.
-
Diagnosticar um Dataproc no cluster do GKE
Como diagnosticar um cluster do Dataproc no GKE.
-
Papéis e identidade do IAM do Dataproc no GKE
Permissões do IAM do Dataproc no GKE.
-
Geração de registros do Dataproc no GKE
Ver os registros do Dataproc nos registros do GKE.
-
Dataproc em pools de nós do GKE
Gerencie o Dataproc em pools de nós do GKE.
-
Versões de lançamento do Dataproc no GKE
Informações da versão de lançamento do Dataproc no GKE.
-
Escalonar um Dataproc no cluster do GKE
Como escalonar um Dataproc no cluster do GKE.
Dataproc Hub
-
Visão geral do Dataproc Hub
Noções básicas do Dataproc Hub.
-
Configurar um hub do Dataproc
Configure o Dataproc Hub para abrir a interface do JupyterLab em clusters do Dataproc de usuário único.
-
Usar um Dataproc Hub
Use uma instância do Dataproc Hub para abrir a interface do JupyterLab em um cluster do Dataproc de usuário único.
Grupos de nós do Dataproc
Modelos do Dataproc
-
Modelos do Dataproc
Use modelos do Dataproc para configurar e executar cargas de trabalho e jobs do Dataproc.
-
Registros do Dataproc
Use o Cloud Logging para visualizar os registros de cluster e job do Dataproc.
-
Saída e registros do job do Dataproc
Configure e visualize a saída do job do Dataproc.
-
Mostrar registros de auditoria do Dataproc
Como visualizar os registros de auditoria do Dataproc.
-
Cloud Monitoring
Use o Cloud Monitoring para visualizar métricas de cluster do Dataproc.
-
Criar alertas de métricas do Dataproc
Criar alertas de métricas de jobs e clusters do Dataproc.
-
Cloud Profiler
Use o Cloud Profiler para criar o perfil do uso da CPU do job do Spark e do Hadoop e da alocação de memória.
-
Migrar dados do HDFS
Migrar dados de um sistema de arquivos do Hadoop (HDFS, na sigla em inglês) para o Cloud Storage para uso com o Dataproc e outros serviços.
-
Como migrar clusters
Migre os clusters do Apache Spark e do Apache Hadoop para o Dataproc.
-
Como migrar jobs
Migre jobs de Spark, Hadoop, Hive, Pig e outros tipos para o Dataproc.