Os componentes sem servidor do Dataproc permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Dataproc Serverless executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.
Saiba mais sobre o Dataproc Serverless e as cargas de trabalho do Spark compatíveis.
Na versão sem servidor do Dataproc, um recurso Batch representa uma carga de trabalho em lote.
O SDK dos componentes do Google Cloud Pipeline inclui os seguintes operadores para
criar recursos Batch e monitorar a execução:
Referência da API
Para fazer referência de componentes, consulte a referência do SDK de componentes de pipeline do Google Cloud para componentes sem servidor do Dataproc.
Para referência de recursos sem servidor do Dataproc, consulte a seguinte página de referência da API:
- Recurso
Batch
- Recurso
Tutoriais
Histórico de versões e notas da versão
Para saber mais sobre o histórico de versões e as mudanças no SDK dos componentes do Google Cloud Pipeline, consulte as Notas de lançamento do SDK dos componentes do Google Cloud Pipeline.
Contatos do suporte técnico
Caso tenha alguma dúvida, entre em contato pelo e-mail kfp-dataproc-components@google.com.