Componentes do Google Cloud Serverless para Apache Spark

Os componentes sem servidor para Apache Spark permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Serverless para Apache Spark executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.

Saiba mais sobre o Google Cloud Serverless para Apache Spark e as cargas de trabalho do Spark compatíveis.

No Serverless para Apache Spark, um recurso Batch representa uma carga de trabalho em lote. O SDK Google Cloud inclui os seguintes operadores para criar recursos Batch e monitorar a execução deles:

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

Referência da API

• Para referência de componentes, consulte a referência do SDKGoogle Cloud para componentes do Google Cloud Serverless para Apache Spark .

• Para referência de recursos sem servidor do Apache Spark, consulte a seguinte página de referência da API:

  • Recurso Batch

Tutoriais

• Começar a usar os Google Cloud componentes de pipeline sem servidor para Apache Spark

Histórico de versões e notas da versão

Para saber mais sobre o histórico de versões e as mudanças no SDK de componentes de pipeline do Google Cloud , consulte as Notas de lançamento do SDK de componentes de pipeline doGoogle Cloud .

Contatos do suporte técnico

Caso tenha alguma dúvida, entre em contato pelo e-mail [e-mail].