Os componentes sem servidor do Dataproc permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Dataproc Serverless executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.
Saiba mais sobre o Dataproc Serverless e as cargas de trabalho do Spark compatíveis.
Na versão sem servidor do Dataproc, um recurso Batch representa uma carga de trabalho em lote.
O SDK dos componentes do pipeline Google Cloud inclui os seguintes operadores para
criar recursos Batch e monitorar a execução deles:
Referência da API
Para fazer referência a componentes, consulte a referência do SDKGoogle Cloud Pipeline Components para componentes sem servidor do Dataproc .
Para referência de recursos sem servidor do Dataproc, consulte a seguinte página de referência da API:
- Recurso
Batch
- Recurso
Tutoriais
Histórico de versões e notas da versão
Para saber mais sobre o histórico de versões e as mudanças no SDK de componentes de pipeline Google Cloud , consulte as Notas de lançamento do SDK de componentes de pipelineGoogle Cloud .
Contatos do suporte técnico
Caso tenha alguma dúvida, entre em contato pelo e-mail kfp-dataproc-components@google.com.