Versiones del entorno de ejecución de Dataproc Serverless para Spark compatibles
Versión | Última actualización | Lanzamiento | Compatible hasta | Disponible hasta | Notas |
---|---|---|---|---|---|
Entorno de ejecución de Spark 2.2 con LTS | 04/10/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Versión de disponibilidad general. Esta es la versión predeterminada. |
Spark Runtime 1.2 LTS | 4/10/2024 | 27/03/2024 | 2026/09/30 | 30/09/2028 | Versión de disponibilidad general. |
Entorno de ejecución de Spark 1.1 LTS | 4/10/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Versión de disponibilidad general. |
Cómo elegir una versión de entorno de ejecución de Dataproc Serverless para Spark
La versión predeterminada actual del entorno de ejecución de Dataproc Serverless se muestra en Dataproc Serverless compatible con las versiones del entorno de ejecución de Spark. Puedes usar la consola de Google Cloud, gcloud CLI y la API de Dataproc para elegir una versión diferente del entorno de ejecución cuando envíes una carga de trabajo por lotes.
Console
- Abre la página Crear lote de Dataproc en la consola de Google Cloud.
- En Contenedor, en la sección Versión del entorno de ejecución, selecciona una de las una lista de versiones del entorno de ejecución de Dataproc Serverless.
gcloud
Usa la marca dataproc batches submit --version
para especificar una
Versión del entorno de ejecución de Dataproc Serverless.
Ejemplo:
gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \ --region=REGION \ --version=VERSION \ other args ...
Reemplaza lo siguiente:
SPARK_WORKLOAD_TYPE: A Tipo de carga de trabajo de Spark, por ejemplo,
spark
.REGION: Una región de Compute Engine disponible. por ejemplo,
us-central1
.VERSION: Opcional. Una versión del entorno de ejecución de Dataproc Serverless, para ejemplo,
1.2
.
API
Usa RuntimeConfig.version.
como parte de un batches.create
Llamada a la API para especificar una versión del entorno de ejecución de Dataproc Serverless.
Dataproc Serverless no es compatible con las versiones del entorno de ejecución de Spark
Las siguientes versiones de Dataproc Serverless no son compatibles.
Versión | Incluye | Lanzamiento | Última actualización | Disponible hasta | Notas |
---|---|---|---|---|---|
Entorno de ejecución de Spark 2.1 | Apache Spark 3.4.0 Conector de Cloud Storage 2.2.20 Conector de BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
2022/01/19 | 30/5/2024 | 30/04/2026 | No es compatible desde el 30/05/2024. 2.1.50 fue la última versión de actualización. |
Tiempo de ejecución de Spark 2.0 | Apache Spark 3.3.4 Conector de Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13 |
21/10/2022 | 22/08/2024 | 31/08/2026 | No es compatible desde el 22/08/2024. 2.0.84 fue la última versión de actualización. |
Entorno de ejecución de Spark 1.0 | Apache Spark 3.2.3 Conector de Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/1/2022 | 2023/2/03 | 31/01/2025 | No es compatible desde el 03/02/2023. 1.0.29 fue la versión de actualización final. |