Componente Zeppelin opcional do Dataproc

É possível instalar outros componentes, como o Zeppelin, ao criar um cluster do Dataproc usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Zeppelin.

O componente Zeppelin Notebook (em inglês) é um notebook baseado na Web para análise de dados interativos. A IU da Web do Zeppelin está disponível na porta 8080 do primeiro nó mestre do cluster.

Por padrão, os notebooks são salvos no Cloud Storage no bucket de preparação do Dataproc, que é especificado pelo usuário ou criado automaticamente na criação do cluster. O local pode ser alterado no momento da criação do cluster por meio da propriedade zeppelin:zeppelin.notebook.gcs.dir.

• Configure o Zeppelin fornecendo as propriedades de cluster prefixadas zeppelin e zeppelin-env.
  • Para reduzir o risco de execução remota de código em APIs de servidor de notebook não seguras, a configuração padrão da propriedade de cluster zeppelin:zeppelin.server.addr para versões de imagem 1.3+ é 127.0.0.1, que restringe as conexões com localhost quando o Gateway de componentes está ativado.

Instalar o componente

Instale o componente ao criar um cluster do Dataproc. Os componentes podem ser adicionados aos clusters criados com o Dataproc versão 1.3 ou posterior.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Dataproc.

Comando gcloud

Para criar um cluster do Dataproc que inclua o componente Zeppelin, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Ao criar o cluster (versão de imagem 1.3.29 ou posterior), use o comando gcloud dataproc clusters create com a sinalização --enable-component-gateway conforme mostrado abaixo para ativar a conexão com a IU da Web do notebook do Zeppelin usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Especifique o componente Zeppelin por meio da API do Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Use a API Dataproc v1 para definir a propriedade EndpointConfig.enableHttpPortAccess com true, como parte da solicitação clusters.create para ativar a conexão com a IU da Web do notebook Zeppelins usando o Gateway de componentes.

Console

1. Ative o componente e o gateway de componentes.
   • No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado.
   • Na seção "Componentes:"
     • Em "Componentes opcionais", selecione Zeppelin e outros componentes opcionais para instalar no cluster.
     • Em "Gateway de componentes", selecione "Ativar gateway do componente" (consulte Visualizar e acessar URLs do gateway de componentes).

Abrir o notebook Zeppelin

Consulte Como visualizar e acessar URLs do Gateway de componentes para clicar nos links do Gateway de componentes no console do Google Cloud e abrir a interface do notebook Zeppelin em execução no nó mestre do cluster no navegador local.