Clusters de node único

Os clusters de node único do Cloud Dataproc têm apenas um node. Esse node único age como mestre e de trabalho para o cluster do Cloud Dataproc. Embora os clusters de node único tenham apenas um node, a maioria dos conceitos e recursos do Cloud Dataproc ainda se aplicam, exceto os listados abaixo.

Há várias situações em que os clusters de node único do Cloud Dataproc podem ser úteis, incluindo:

  • tentativas com novas versões do Spark e Hadoop ou outros componentes de código aberto;
  • criação de demonstrações de prova do conceito (PoC, da sigla em inglês);
  • ciência de dados leves;
  • processamento de dados não críticos em pequena escala;
  • educação relacionada ao ecossistema Spark e Hadoop.

Semântica de cluster de node único

A semântica a seguir é aplicada aos clusters de node único do Cloud Dataproc:

  • Os clusters de node único são configurados da mesma maneira que os clusters de vários nodes do Cloud Dataproc e incluem serviços como HDFS e YARN.
  • Os clusters de nó único são relatados como nós mestres para as ações de inicialização.
  • Os clusters de node único mostram 0 workers, já que age como mestre e de trabalho.
  • Os clusters de node único têm nomes de host que seguem o padrão clustername-m. Você pode usar esse nome de host para rodar SSH ou conectar à IU da Web no node.
  • Não é possível fazer upgrade dos clusters de node único para clusters de vários nodes. Uma vez criados, os clusters de node único são restritos a um node. Da mesma forma, os clusters de vários nodes não podem ser reduzidos para se tornar clusters de node único.

Limitações

  • Não é recomendável usar clusters de nó único no processamento paralelo de dados em grande escala. Se você exceder os recursos em um cluster de nó único, o recomendável será usar um cluster de vários nós do Cloud Dataproc.
  • Os tipos de máquina n1-standard-1 têm recursos limitados e não são recomendados para aplicativos YARN.
  • Os clusters de nó único não têm alta disponibilidade porque há apenas um nó no cluster.
  • Os clusters de nó único não podem usar VMs preemptivas.

Como criar um cluster de node único

Comando gcloud

Você pode criar um cluster de node único do Cloud Dataproc usando a ferramenta de linha de comando gcloud. Para criar um cluster de nó único, passe a sinalização --single-node ao comando gcloud dataproc clusters create.

gcloud dataproc clusters create args --single-node

REST API

Crie um cluster de nó único por meio da API REST do Cloud Dataproc usando uma solicitação clusters.create. Ao fazer essa solicitação, realize estas ações:

  1. Adicione a propriedade dataproc:dataproc.allow.zero.workers="true" ao SoftwareConfig da solicitação de cluster.
  2. Não envie valores de workerConfig e secondaryWorkerConfig. Consulte ClusterConfig.

Console

Crie um cluster de nó único selecionando "Nó único (1 mestre, 0 trabalhos)" no seletor Modo de cluster na página Criar um cluster do Cloud Dataproc.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Dataproc
Precisa de ajuda? Acesse nossa página de suporte.