Componente Docker opcional do Dataproc

É possível instalar outros componentes, como o Docker, ao criar um cluster do Dataproc usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Docker.

O componente do Dataproc instala um daemon do Docker em cada nó do cluster e cria um usuário "docker" e um grupo "docker" do Linux em cada nó para executar o daemon do Docker. Esse componente também cria um serviço systemd "docker" para executar o serviço dockerd. Você precisa usar o serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Dataproc. O componente do Docker pode ser instalado em clusters criados com a imagem versão 1.5 ou posterior do Dataproc.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Dataproc.

Comando gcloud

Para criar um cluster do Dataproc que inclua o componente Docker, use o comando gcloud dataproc clusters create cluster-name com a sinalização --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Para especificar o componente do Docker por meio da API Dataproc, use o SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

  1. Ativar o componente.
    • No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado.
    • Na seção "Componentes:"
      • Em "Componentes opcionais", selecione Docker e outros componentes opcionais para instalar no cluster.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente Docker do Dataproc grava registros no Cloud Logging definindo gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

Além disso, ele configura o Docker para usar o Container Registry e os registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Como usar o componente do Docker em um cluster do Kerberos

O componente opcional do Docker pode ser instalado em um cluster que está sendo criado com a segurança do Kerberos ativada.