Spark를 위한 Dataproc Serverless 런타임 버전

지원되는 Spark를 위한 Dataproc Serverless 런타임 버전

버전 최종 업데이트 출시 날짜 지원 만료일 사용 가능 기한 참고
Spark 런타임 2.2 LTS 2024/10/31 2024/03/27 2026/09/30 2028/09/30 일반 안정화 출시 버전. 이 버전은 기본 버전입니다.
Spark 런타임 1.2 LTS 2024/10/31 2024/03/27 2026/09/30 2028/09/30 일반 안정화 출시 버전.
Spark 런타임 1.1 LTS 2024/10/31 2023/01/27 2025/07/31 2027/07/31 일반 안정화 출시 버전.

Spark를 위한 Dataproc Serverless 런타임 버전을 선택하는 방법

현재 기본 Dataproc Serverless 런타임 버전은 지원되는 Spark를 위한 Dataproc Serverless 런타임 버전에 나와 있습니다. Google Cloud 콘솔, gcloud CLI, Dataproc API를 사용하여 일괄 워크로드를 제출할 때 다른 런타임 버전을 선택할 수 있습니다.

콘솔

  1. Google Cloud 콘솔에서 Dataproc 일괄 만들기 페이지를 엽니다.
  2. 컨테이너의 런타임 버전 섹션에서 나열된 Dataproc Serverless 런타임 버전 중 하나를 선택합니다.

gcloud

dataproc batches submit --version 플래그를 사용하여 Dataproc Serverless 런타임 버전을 지정합니다.

예를 들면 다음과 같습니다.

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

다음을 바꿉니다.

API

batches.create API 호출의 일부로 RuntimeConfig.version 필드를 사용하여 Dataproc Serverless 런타임 버전을 지정합니다.

지원되지 않는 Spark를 위한 Dataproc Serverless 런타임 버전

다음 Dataproc 서버리스 버전은 지원되지 않습니다.

버전 포함 출시 날짜 최종 업데이트 사용 가능 기한 참고
Spark 런타임 2.1 Apache Spark 3.4.0
Cloud Storage 커넥터 2.2.20
BigQuery 커넥터 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024/5/30 2026/04/30 2025년 5월 30일부터 지원되지 않습니다. 2.1.50이 최종 출시 버전입니다.
Spark 런타임 2.0 Apache Spark 3.3.4
Cloud Storage 커넥터 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13		 2022/10/21 2024/08/22 2026/08/31 2024년 8월 22일부터 지원되지 않습니다. 2.0.84가 최종 출시 버전입니다.
Spark 런타임 1.0 Apache Spark 3.2.3
Cloud Storage 커넥터 2.2.11
Conda 4.11
자바 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023/2/03 2025/01/31 2023년 2월 3일부터 지원되지 않습니다. 1.0.29가 최종 출시 버전입니다.