Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Lista de versões do Dataproc. Ao criar um cluster, é possível instalar componentes adicionais, chamados "componentes opcionais", nele. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:
- Mais velocidade nos tempos de inicialização do cluster
- Compatibilidade testada com versões específicas do Dataproc
- Uso de um parâmetro de cluster em vez de um script de ação de inicialização
Componentes opcionais disponíveis
Componente opcional | COMPONENT_NAME em comandos gcloud e solicitações de API |
Versão de imagem | Etapa da versão |
---|---|---|---|
Docker | DOCKER | 1.5 ou superior | GA |
Flink | FLINK | 1.5 ou superior | GA |
HBase | HBASE | 1.5 e superior (indisponível na versão 2.1 e mais recentes) |
Beta |
Hive WebHCat | HIVE_WEBHCAT | 1.3 ou superior | GA |
Hudi | Hudi | 1.5 ou superior | GA |
Jupyter Notebook | JUPYTER | 1.3 ou superior | GA |
Presto | PRESTO | 1.3 ou superior (indisponível na versão 2.1 e mais recentes) |
GA |
Ranger | RANGER | 1.3 ou superior | GA |
Solr | SOLR | 1.3 ou superior | GA |
Trino | TRINO | 2.1 e superior | GA |
Zeppelin Notebook | ZEPPELIN | 1.3 ou superior | GA |
Zookeeper | ZOOKEEPER | 1.0 ou superior | GA |
Como adicionar componentes opcionais
Comando gcloud
Para criar um cluster do Dataproc e instalar um ou mais
componentes opcionais no cluster, use o comando
gcloud beta dataproc clusters create cluster-name
com a sinalização --optional-components
.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
API REST
Especifique componentes opcionais por meio da API do Dataproc usando o SoftwareConfig.Component como parte de uma solicitação clusters.create.Console
No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado. Em "Componentes opcionais", na seção "Componentes", selecione um ou mais componentes para instalar no cluster.