Componentes de Google Cloud sin servidores para Apache Spark

Los componentes de Serverless para Apache Spark te permiten ejecutar cargas de trabajo por lotes de Apache Spark desde una canalización dentro de Vertex AI Pipelines. Serverless para Apache Spark ejecuta las cargas de trabajo por lotes en una infraestructura de procesamiento administrada, con ajuste de escala automático de los recursos según sea necesario.

Obtén más información sobre Google Cloud Serverless para Apache Spark y las cargas de trabajo compatibles con Spark.

En Serverless for Apache Spark, un recurso Batch representa una carga de trabajo por lotes. El SDK de Google Cloud incluye los siguientes operadores para crear recursos Batch y supervisar su ejecución:

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

Referencia de la API

• Para ver la referencia del componente, consulta la referencia del SDK deGoogle Cloud para los componentes de Google Cloud sin servidores para Apache Spark .

• Para obtener la referencia de los recursos de Serverless para Apache Spark, consulta la siguiente página de referencia de la API:

  • Recurso Batch

Instructivos

• Comienza a usar los Google Cloud componentes de canalización de Serverless para Apache Spark

Historial de versiones y notas de la versión

Para obtener más información sobre el historial de versiones y los cambios en el SDK de componentes de canalización de Google Cloud , consulta las Google Cloud notas de la versión del SDK de componentes de canalización.

Contactos de asistencia técnica

Si tienes alguna pregunta, comunícate con [e-mail].