Nesta página, mostramos como criar sessões interativas e modelos de sessão do Dataproc Serverless. Um modelo de sessão pode ser usado para criar várias sessões interativas com base na configuração do modelo de sessão.
Criar uma sessão do Dataproc sem servidor
É possível usar o console do Google Cloud, a Google Cloud CLI ou a API Dataproc para criar uma sessão interativa sem servidor do Dataproc.
Console
Para criar uma sessão do Dataproc Serverless usando o console do Google Cloud, siga estas etapas:
No console do Google Cloud, acesse a página Sessões interativas.
Acessar as sessões interativas
- Clique em Criar.
Na página Adicionar uma sessão interativa (pré-lançamento), insira ou confirme as configurações da sessão. Observe o seguinte:
- Nome da sessão interativa:obrigatório. Aceite o nome padrão ou especifique um nome de sessão.
- Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sua sessão.
- Configuração do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Dataproc Serverless para Spark disponíveis. É possível especificar uma imagem de contêiner personalizada para usar na sessão.
- Propriedades:opcionais. Clique em Adicionar item para cada propriedade a ser definida para sua sessão. Para mais informações, consulte Propriedades do Spark.
- Interface do Spark (pré-lançamento): opcional. Você pode usar a Spark UI para coletar e monitorar detalhes da execução da sessão.
- Conta de serviço:opcional. A conta de serviço a ser usada na sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.
- Configuração de rede:obrigatório. A sub-rede da sessão precisa ter o Acesso privado do Google (PGA, na sigla em inglês) ativado e permitir a comunicação da sub-rede em todas as portas. Somente as redes com sub-redes na região de sessão especificada com PGA ativada são listadas nesta seção. Para mais informações, consulte Configuração de rede do Dataproc Serverless para Spark.
Clique em Enviar para criar a sessão.
gcloud
Use o
gcloud beta dataproc sessions create command SESSION_NAME para
criar uma sessão interativa do Dataproc sem servidor.
Observações sobre a flag de comando:
--region: obrigatório. Uma região disponível para sua sessão.--version: opcional. Uma versão do ambiente de execução do Spark com suporte. Se você não usar essa flag para especificar uma versão, a versão padrão atual do ambiente de execução do Spark será usada.--container-image: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.--property: opcional. Uma ou mais propriedades do Spark separadas por vírgulas para sua sessão.--service-account: opcional. A conta de serviço a ser usada na sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.--subnet: opcional. Uma sub-rede da VPC neste formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
- REGION: o
--regionque você selecionou para a sessão. - SUBNET_NAME: a sub-rede precisa ter o Acesso privado do Google (PGA, na sigla em inglês) ativado e permitir a comunicação da sub-rede em todas as portas. Para mais informações, consulte Configuração de rede do Dataproc sem servidor para o Spark.
- REGION: o
REST
É possível usar a API
sessions.create
do Dataproc para criar uma sessão interativa sem servidor do Dataproc.
Observações:
name: obrigatório. Nome da sessão.version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para sua sessão. Se você não especificar uma versão, a versão padrão atual será usada.containerImage: opcional. Uma imagem de contêiner personalizada para usar na sua sessão.properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.serviceAccount: opcional. A conta de serviço a ser usada para executar a sessão. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.subnetworkUri: opcional. Uma sub-rede VPC para sua sessão no seguinte formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
Criar um modelo de sessão sem servidor do Dataproc
Um modelo de sessão do Dataproc sem servidor define as configurações para criar uma ou mais sessões interativas do Dataproc sem servidor.
É possível usar o console do Google Cloud, a CLI gcloud ou a API Dataproc para criar um modelo de sessão sem servidor do Dataproc.
Console
Para criar um modelo de sessão sem servidor do Dataproc usando o console do Google Cloud, siga estas etapas:
No console do Google Cloud, acesse a página Modelos de sessão interativa.
Acesse "Modelos de sessão interativa"
- Clique em Criar.
Na página Criar modelo de sessão, insira ou confirme as configurações do modelo. Observe o seguinte:
- ID do ambiente de execução do modelo:obrigatório. Aceite o ID padrão (nome) ou especifique um nome de execução de modelo.
- Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sessões de modelo.
- Versão do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Dataproc Serverless para Spark.
- Tipo de configuração do modelo:obrigatório. Selecione um tipo. Se você selecionar
Jupyter, especifique o nome de exibição e selecione o tipo de kernel do Jupyter. Para mais informações, consulte Iniciar um notebook do Jupyter no Dataproc sem servidor. - Conta de serviço:opcional. A conta de serviço a ser usada para executar sessões de modelo. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.
- Imagem de contêiner personalizada:opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.
- Propriedades:opcionais. Clique em Adicionar item para cada propriedade que você quer definir para suas sessões de modelo. Para mais informações, consulte Propriedades do Spark.
- Configuração de rede: * Obrigatório. A sub-rede da sessão precisa ter o Acesso privado do Google (PGA, na sigla em inglês) ativado e permitir a comunicação da sub-rede em todas as portas. Somente as redes com sub-redes na sessão Região com PGA ativada são listadas nesta seção. Para mais informações, consulte Configuração de rede do Dataproc Serverless para Spark.
Clique em Enviar para criar o modelo de sessão.
gcloud
Não é possível criar diretamente um modelo de sessão sem servidor do Dataproc usando a CLI gcloud, mas é possível usar o comando gcloud beta dataproc session-templates import para importar um modelo de sessão existente. É possível editar o modelo importado e exportá-lo usando o comando gcloud beta dataproc session-templates export.
REST
É possível usar a API
sessionTemplates.create
do Dataproc para criar um modelo de sessão sem servidor do Dataproc.
Observações:
name: obrigatório. Nome do modelo da sessão.version: opcional. Qualquer uma das versões do ambiente de execução do Spark com suporte para suas sessões de modelo. Se você não especificar uma versão, a versão padrão será usada.containerImage: opcional. Uma imagem de contêiner personalizada para usar nas sessões de modelo.properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.serviceAccount: opcional. Uma conta de serviço para executar suas sessões de modelo. Se não for especificado, a conta de serviço padrão do Compute Engine será usada.subnetworkUri: opcional. Uma sub-rede VPC para suas sessões de modelo no seguinte formato:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME