Guias de instruções

Tarefas básicas e comuns

• Autenticar no Dataproc

  Saiba como se autenticar no Dataproc.

• criar um cluster

  Crie um cluster usando o console do Google Cloud ou a Google Cloud CLI.

• Criar um cluster parcial

  Crie um cluster parcial com um número mínimo de workers principais.

• Criar uma imagem personalizada

  Saiba como criar uma imagem personalizada e instalá-la em um cluster do Dataproc.

• Criar e gerenciar rótulos

  Criar e gerenciar rótulos do usuário do Dataproc.

• Gerenciar dependências Java e Scala para o Spark

  Aprenda a gerenciar dependências Java e Scala e resolver conflitos de aplicativos Apache Spark.

• Gerenciar um cluster

  Atualizar ou encerrar um cluster.

• Executar notebooks do Vertex AI Workbench em clusters do Dataproc

  Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.

• Configure um projeto

  Configure um novo projeto para usar o Dataproc.

• Como iniciar e interromper clusters

  Inicie e interrompa um cluster do Dataproc.

• Envie um job

  Envie diferentes tipos de jobs usando o console do Google Cloud, a Google Cloud CLI ou SSH em uma instância de cluster.

Dataproc no GKE

• Visão geral do Dataproc no GKE

  Uma visão geral do Dataproc no GKE .

• Guia de início rápido: executar um job do Spark no Dataproc no GKE

  Crie um cluster virtual do Dataproc no GKE e execute um job do Spark nele.

• Recriar e atualizar um cluster virtual do Dataproc no GKE

  Recriar e atualizar um cluster virtual do Dataproc no GKE.

• Excluir um cluster virtual do Dataproc no GKE

  Excluir um cluster virtual do Dataproc no GKE.

• Imagens de contêiner personalizadas do Dataproc em GKE

  Como criar o Dataproc em imagens de contêiner do GKE.

• Diagnosticar um Dataproc no cluster do GKE

  Como diagnosticar um cluster do Dataproc no GKE.

• Papéis e identidade do IAM do Dataproc no GKE

  Permissões do IAM do Dataproc no GKE.

• Geração de registros do Dataproc no GKE

  Ver os registros do Dataproc nos registros do GKE.

• Dataproc em pools de nós do GKE

  Gerencie o Dataproc em pools de nós do GKE.

• Versões de lançamento do Dataproc no GKE

  Informações da versão de lançamento do Dataproc no GKE.

• Escalonar um Dataproc no cluster do GKE

  Como escalonar um Dataproc no cluster do GKE.

Dataproc Hub

• Visão geral do Dataproc Hub

  Noções básicas do Dataproc Hub.

• Configurar um hub do Dataproc

  Configure o Dataproc Hub para abrir a interface do JupyterLab em clusters do Dataproc de usuário único.

• Usar um Dataproc Hub

  Use uma instância do Dataproc Hub para abrir a interface do JupyterLab em um cluster do Dataproc de usuário único.

Grupos de nós do Dataproc

• Grupos de nós de driver do Dataproc

  Entender os grupos de nós de driver do Dataproc.

Modelos do Dataproc

• Modelos do Dataproc

  Use modelos do Dataproc para configurar e executar cargas de trabalho e jobs do Dataproc.

Geração de registros e monitoramento

• Registros do Dataproc

  Use o Cloud Logging para visualizar os registros de cluster e job do Dataproc.

• Saída e registros do job do Dataproc

  Configure e visualize a saída do job do Dataproc.

• Mostrar registros de auditoria do Dataproc

  Como visualizar os registros de auditoria do Dataproc.

• Cloud Monitoring

  Use o Cloud Monitoring para visualizar métricas de cluster do Dataproc.

• Criar alertas de métricas do Dataproc

  Criar alertas de métricas de jobs e clusters do Dataproc.

• Cloud Profiler

  Use o Cloud Profiler para criar o perfil do uso da CPU do job do Spark e do Hadoop e da alocação de memória.

Como migrar para o Dataproc

• Migrar dados do HDFS

  Migrar dados de um sistema de arquivos do Hadoop (HDFS, na sigla em inglês) para o Cloud Storage para uso com o Dataproc e outros serviços.

• Como migrar clusters

  Migre os clusters do Apache Spark e do Apache Hadoop para o Dataproc.

• Como migrar jobs

  Migre jobs de Spark, Hadoop, Hive, Pig e outros tipos para o Dataproc.

Melhorias no desempenho do Dataproc

• Aprimoramentos de desempenho

  Ativar melhorias no desempenho dos conectores do Dataproc Spark e Dataproc.

Ativar integração da linhagem de dados

• Usar a linhagem de dados no Dataproc

  Ativar a linhagem de dados em um cluster do Dataproc para capturar e publicar eventos de linhagem de jobs do Spark no Dataproc na API Data Lineage.