Componentes do Dataproc

Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Lista de versões do Dataproc. Ao criar um cluster, é possível instalar componentes adicionais, chamados "componentes opcionais", nele. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:

  • Mais velocidade nos tempos de inicialização do cluster
  • Compatibilidade testada com versões específicas do Dataproc
  • Uso de um parâmetro de cluster em vez de um script de ação de inicialização

Componentes opcionais disponíveis

Componente opcional COMPONENT_NAME
em comandos gcloud e solicitações de API
Versão de imagem Etapa da versão
Docker DOCKER 1.5 ou superior GA
Flink FLINK 1.5 ou superior GA
HBase HBASE 1.5 e superior
(indisponível na versão 2.1 e mais recentes)
Beta
Hive WebHCat HIVE_WEBHCAT 1.3 ou superior GA
Hudi Hudi 1.5 ou superior GA
Jupyter Notebook JUPYTER 1.3 ou superior GA
Presto PRESTO 1.3 ou superior
(indisponível na versão 2.1 e mais recentes)
GA
Ranger RANGER 1.3 ou superior GA
Solr SOLR 1.3 ou superior GA
Trino TRINO 2.1 e superior GA
Zeppelin Notebook ZEPPELIN 1.3 ou superior GA
Zookeeper ZOOKEEPER 1.0 ou superior GA

Como adicionar componentes opcionais

Comando gcloud

Para criar um cluster do Dataproc e instalar um ou mais componentes opcionais no cluster, use o comando gcloud beta dataproc clusters create cluster-name com a sinalização --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Especifique componentes opcionais por meio da API do Dataproc usando o SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado. Em "Componentes opcionais", na seção "Componentes", selecione um ou mais componentes para instalar no cluster.