Versiones del entorno de ejecución de Dataproc Serverless para Spark

• Las versiones del entorno de ejecución de Dataproc Serverless LTS (asistencia a largo plazo) son compatibles durante 30 meses. Las versiones del entorno de ejecución de Dataproc Serverless que no son LTS son compatibles durante 12 meses.
• Las versiones del entorno de ejecución de Dataproc Serverless seguirán disponibles durante dos años después de la fecha de finalización de la asistencia.

Versiones del entorno de ejecución de Dataproc Serverless para Spark compatibles

Versión	Última actualización	Lanzamiento	Compatible hasta	Disponible hasta	Notas
Spark runtime 2.2 LTS	31/10/2024	27/03/2024	2026/09/30	2028/09/30	Versión de disponibilidad general. Esta es la versión predeterminada.
Spark Runtime 1.2 LTS	31/10/2024	27/03/2024	2026/09/30	2028/09/30	Esta es la versión de disponibilidad general.
Entorno de ejecución de Spark 1.1 LTS	31/10/2024	27/01/2023	31/7/2025	2027/07/31	Versión de disponibilidad general.

Cómo elegir una versión del entorno de ejecución de Dataproc Serverless para Spark

La versión actual del entorno de ejecución de Dataproc Serverless predeterminada se indica en Versiones del entorno de ejecución compatibles de Dataproc Serverless para Spark. Puedes usar la consola de Google Cloud, gcloud CLI y la API de Dataproc para elegir una versión diferente del entorno de ejecución cuando envíes una carga de trabajo por lotes.

Nota: Las versiones del entorno de ejecución de Dataproc Serverless para Spark 1.2 y 2.1+ no admiten el anclaje de versiones secundarias.

Console

1. Abre la página Create batch de Dataproc en la consola de Google Cloud.
2. En Contenedor, en la sección Versión del entorno de ejecución, selecciona una de las versiones del entorno de ejecución de Dataproc Serverless que se indican.

gcloud

Usa la marca dataproc batches submit --version para especificar una versión del entorno de ejecución de Dataproc Serverless.

Ejemplo:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Reemplaza lo siguiente:

• SPARK_WORKLOAD_TYPE: Un tipo de carga de trabajo de Spark, por ejemplo, spark.

• REGION: Es una región de Compute Engine disponible, por ejemplo, us-central1.

• VERSION: Opcional. Una versión del entorno de ejecución de Dataproc sin servidores, por ejemplo, 1.2.

API

Usa el campo RuntimeConfig.version como parte de una llamada a la API de batches.create para especificar una versión del entorno de ejecución de Dataproc Serverless.

Versiones del entorno de ejecución de Dataproc Serverless para Spark que no son compatibles

Las siguientes versiones de Dataproc Serverless no son compatibles.

Versión	Incluye	Lanzamiento	Última actualización	Disponible hasta	Notas
Entorno de ejecución de Spark 2.1	Apache Spark 3.4.0 Conector de Cloud Storage 2.2.20 Conector de BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	2024/5/30	30/04/2026	No es compatible desde el 30/05/2024. 2.1.50 fue la última versión de actualización.
Tiempo de ejecución de Spark 2.0	Apache Spark 3.3.4 Conector de Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	2024/08/22	2026/08/31	No es compatible desde el 22/08/2024. 2.0.84 fue la última versión de actualización.
Entorno de ejecución de Spark 1.0	Apache Spark 3.2.3 Conector de Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	2023/2/03	31/01/2025	No es compatible desde el 3 de febrero de 2023. 1.0.29 fue la última versión publicada.