Os componentes sem servidor do Dataproc permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Dataproc Serverless executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.
Saiba mais sobre o Dataproc Serverless e as cargas de trabalho do Spark compatíveis.
Na versão sem servidor do Dataproc, um recurso Batch representa uma carga de trabalho em lote.
O SDK dos componentes do Google Cloud Pipeline inclui os seguintes operadores para
criar recursos Batch e monitorar a execução:
Referência da API
Para referência de componentes, consulte a página de
referência do SDK google_cloud_pipeline_components.
Para referência de recursos sem servidor do Dataproc, consulte a seguinte página de referência da API:
Batchreferência do recurso
Tutoriais
Histórico de versões e notas da versão
Para saber mais sobre o histórico de versões e as mudanças no SDK dos componentes do Google Cloud Pipeline, consulte as Notas de lançamento do SDK dos componentes do Google Cloud Pipeline.
Contatos do suporte técnico
Caso tenha alguma dúvida, entre em contato pelo e-mail kfp-dataproc-components@google.com.