O que é o Dataproc sem servidor?

O Dataproc sem servidor permite executar cargas de trabalho do Spark sem precisar provisionar e gerenciar o próprio cluster do Dataproc. Há duas maneiras de executar cargas de trabalho do Dataproc sem servidor:

Dataproc Serverless para Spark Batch

Use o console do Google Cloud, a CLI do Google Cloud ou a API Dataproc para enviar uma carga de trabalho em lote ao serviço sem servidor do Dataproc. O serviço será executado a carga de trabalho em uma infraestrutura de computação gerenciada, fazendo o escalonamento automático dos recursos conforme necessário. As cobranças do Dataproc Serverless se aplicam apenas ao momento em que a carga de trabalho está em execução.

Para começar, consulte Executar uma carga de trabalho em lote do Apache Spark.

Dataproc Serverless para Spark Interactive

Crie e execute códigos em notebooks do Jupyter durante uma sessão do Dataproc Serverless para Spark Interactive. É possível criar uma sessão de notebook nas seguintes maneiras:

  • Usar o plug-in do Dataproc do Dataproc para criar vários notebooks sessões com modelos criados e gerenciados por você. Quando você instala o plug-in em uma máquina local ou em uma VM do Compute Engine, cards diferentes que correspondem a diferentes configurações do kernel do Spark aparecem na página de inicialização do JupyterLab. Clique em um card para criar uma sessão de notebook do Dataproc Serverless e comece a escrever e testar seu código no notebook.

    O plug-in Dataproc JupyterLab também permite use a página de tela de início do JupyterLab para fazer o seguinte:

    • Crie o Dataproc em clusters do Compute Engine.
    • Envie jobs para o Dataproc em clusters do Compute Engine.
    • Acessar os registros do Google Cloud e do Spark.

Para começar, consulte Usar o JupyterLab para sessões de notebook interativas e em lote sem servidor.

Dataproc sem servidor para Spark em comparação com o Dataproc no Compute Engine

O Dataproc no Compute Engine é ideal se você quer provisionar e gerenciar a infraestrutura e, em seguida, executar cargas de trabalho no Spark e em outros frameworks de processamento de código aberto. A tabela a seguir lista as principais diferenças entre o Dataproc no Compute Engine e Dataproc sem servidor para Spark.

Capacidade O Dataproc Serverless para Spark Dataproc no Compute Engine
Frameworks de processamento Lote: Spark 3.4 e versões anteriores
Interativo: kernels do PySpark para o Spark 3.4 e versões anteriores
Spark 3.3 e versões anteriores. Outros frameworks de código aberto, como Hive, Flink, Trino e Kafka.
Sem servidor Sim Não
Tempo de inicialização 60 s Anos 90
Controle de infraestrutura Não Sim
Gerenciamento de recursos Baseado em Spark Com base no YARN
Suporte a GPUs Sim Sim
Sessões interativas Sim Não
Contêineres personalizados Sim Não
Acesso à VM (por exemplo, SSH) Não Sim
Versões do Java Java 17, 11 Versões anteriores compatíveis
OS Login suporte * Não Sim

Observações:

  • Uma política de Login do SO não é aplicável ou compatível com o Dataproc sem servidor. Se a sua organização aplicar uma política OS Login, os workloads do Dataproc sem servidor vão falhar.

Compliance de segurança do Dataproc sem servidor

O Dataproc sem servidor adere a toda a residência de dados, CMEK VPC-SC, e outros requisitos de segurança com os quais o Dataproc está em conformidade.

Recursos de carga de trabalho em lote do Dataproc Serverless para Spark

É possível executar o seguinte Dataproc sem servidor para tipos de carga de trabalho em lote do Spark:

  • Pyspark
  • Spark SQL
  • Spark R
  • Spark (Java ou Scala)

É possível especificar as propriedades do Spark quando você envia uma carga de trabalho em lote do Dataproc sem servidor para Spark.