Componentes do Dataproc

Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Lista de versões do Dataproc. É possível instalar outros componentes, chamados de "componentes opcionais", no cluster quando ele é criado. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:

• Mais velocidade nos tempos de inicialização do cluster
• Compatibilidade testada com versões específicas do Dataproc
• Uso de um parâmetro de cluster em vez de um script de ação de inicialização

.

Componentes opcionais são instalados em um cluster antes de qualquer ações de inicialização são executados no cluster.

Componentes opcionais disponíveis

Componente opcional	COMPONENT_NAME em comandos gcloud e solicitações de API	Versão de imagem	Etapa da versão
Docker	DOCKER	1.5 ou superior	GA
Flink	FLINK	1.5 ou superior	GA
HBase	HBASE	1.5 e superior (indisponível na versão 2.1 e posteriores)	Beta
Hive WebHCat	HIVE_WEBHCAT	1.3 ou superior	GA
Hudi	Hudi	1.5 ou superior	GA
Jupyter Notebook	JUPYTER	1.3 ou superior	GA
Presto	PRESTO	1.3 ou superior (indisponível na versão 2.1 e posteriores)	GA
Ranger	RANGER	1.3 ou superior	GA
Solr	SOLR	1.3 ou superior	GA
Trino	TRINO	2.1 e superior	GA
Zeppelin Notebook	ZEPPELIN	1.3 ou superior	GA
Zookeeper	ZOOKEEPER	1.0 ou superior	GA

Para se conectar às interfaces da Web do componente em execução nos clusters, consulte Interfaces da Web do cluster. Consulte também o Gateway de componentesdo Dataproc, que permite se conectar às interfaces da Web dos componentes principais e opcionais do Dataproc, incluindo IUs YARN, HDFS, Jupyter e Zeppelins, sem exigir o uso de SSH túneis ou a modificação de regras de firewall para permitir o tráfego de entrada.

Como adicionar componentes opcionais

Observação: os exemplos de uso abaixo são para Disponibilidade geral (GA) da infraestrutura.

Comando gcloud

Para criar um cluster do Dataproc e instalar um ou mais componentes opcionais no cluster, use o comando gcloud beta dataproc clusters create cluster-name com a sinalização --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Especifique componentes opcionais por meio da API do Dataproc usando o SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

No console do Google Cloud, abra o Dataproc Criar um cluster página. O painel "Configurar cluster" está selecionado. Em "Componentes opcionais", na seção "Componentes", selecione um ou mais componentes para instalar no cluster.