Componentes sin servidores de Dataproc

Los componentes de Dataproc sin servidores te permiten ejecutar cargas de trabajo por lotes de Apache Spark desde una canalización dentro de Vertex AI Pipelines. Dataproc Serverless ejecuta las cargas de trabajo por lotes en una infraestructura de procesamiento administrada, con ajuste de escala automático de los recursos según sea necesario.

Obtén más información sobre Dataproc sin servidores y cargas de trabajo compatibles con Spark.

En Dataproc sin servidores, un recurso Batch representa una carga de trabajo por lotes. El SDK de Google Cloud componentes de canalización incluye los siguientes operadores para crear recursos Batch y supervisar su ejecución:

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

Referencia de la API

• Para obtener la referencia del componente, consulta la referencia del SDK de componentes de canalización deGoogle Cloud para componentes sin servidores de Dataproc .

• Para obtener la referencia de los recursos sin servidores de Dataproc, consulta la siguiente página de referencia de la API:

  • Recurso Batch

Instructivos

• Comienza a usar los componentes de canalización de Dataproc sin servidores

Historial de versiones y notas de la versión

Para obtener más información sobre el historial de versiones y los cambios en el SDK de Google Cloud componentes de canalización, consulta las notas de la versión del SDK de componentes de canalización.Google Cloud

Contactos de asistencia técnica

Si tienes alguna pregunta, comunícate con [e-mail].