Versiones del entorno de ejecución sin servidores de Dataproc

Versiones compatibles de Dataproc Serverless

Versión Última actualización Lanzamiento Compatible hasta Disponible hasta el Notas
LTS de tiempo de ejecución 2.2 de Spark 26/04/2024 27/03/2024 30/09/2026 30/09/2028 Versión de disponibilidad general.
Entorno de ejecución de Spark 2.1 26/04/2024 05/05/2023 31/05/2024 31/05/2026 Versión de disponibilidad general.
Entorno de ejecución de Spark 2.0 26/04/2024 21/10/2022 30/06/2024 30/06/2026 Versión de disponibilidad general. Esta es la versión predeterminada.
LTS 1.2 del entorno de ejecución de Spark 26/04/2024 27/03/2024 30/09/2026 30/09/2028 Versión de disponibilidad general.
LTS 1.1 del entorno de ejecución de Spark 26/04/2024 27/01/2023 31/07/2025 31/07/2027 Versión de disponibilidad general.

Cómo elegir una versión del entorno de ejecución de Dataproc Serverless

La versión predeterminada actual del entorno de ejecución de Dataproc Serverless se muestra en las versiones compatibles de Dataproc Serverless. Puedes usar la consola de Google Cloud, gcloud CLI y la API de Dataproc para elegir una versión diferente del entorno de ejecución cuando envíes una carga de trabajo por lotes.

Console

  1. Abre la página Crear lote de Dataproc en la consola de Google Cloud.
  2. En Contenedor, en la sección Versión del entorno de ejecución, selecciona una de las versiones de la lista de entornos de ejecución de Dataproc Serverless.

gcloud

Usa la marca dataproc batches submit --version para especificar una versión del entorno de ejecución de Dataproc Serverless.

Ejemplo:

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

Usa el campo RuntimeConfig.version como parte de una llamada a la API batches.create para especificar la versión del entorno de ejecución de Dataproc Serverless.

Versiones no compatibles de Dataproc Serverless

Las siguientes versiones de Dataproc Serverless no son compatibles.

Versión Incluye Lanzamiento Última actualización Disponible hasta el Notas
Entorno de ejecución de Spark 1.0 Apache Spark 3.2.3
Conector de Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19/01/2022 03/2/2023 31/01/2025 No es compatible desde el 03/02/2023. 1.0.29 fue la versión de lanzamiento final.