Componentes sem servidor do Dataproc

Os componentes sem servidor do Dataproc permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Dataproc Serverless executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.

Saiba mais sobre o Dataproc Serverless e as cargas de trabalho do Spark compatíveis.

Na versão sem servidor do Dataproc, um recurso Batch representa uma carga de trabalho em lote. O SDK dos componentes do Google Cloud Pipeline inclui os seguintes operadores para criar recursos Batch e monitorar a execução:

Referência da API

Tutoriais

Histórico de versões e notas da versão

Para saber mais sobre o histórico de versões e as mudanças no SDK dos componentes do Google Cloud Pipeline, consulte as Notas de lançamento do SDK dos componentes do Google Cloud Pipeline.

Contatos do suporte técnico

Caso tenha alguma dúvida, entre em contato pelo e-mail kfp-dataproc-components@google.com.