서버리스 Dataproc Spark 런타임 출시

Spark 런타임 버전 2.2

구성요소 2.2.27
2024/10/11		 2.2.26
2024/10/04
 2.2.25
2024/09/30		 2.2.23
2024/09/23		 2.2.22
2024/09/13
Apache Spark참고 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 커넥터 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 커넥터 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
자바 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark 런타임 버전 1.2

구성요소 1.2.27
2024/10/11		 1.2.26
2024/10/04
 1.2.25
2024/09/30		 1.2.23
2024/09/23		 1.2.22
2024/09/13
Apache Spark참고 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 커넥터 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 커넥터 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
자바 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark 런타임 버전 1.1

구성요소 1.1.83
2024/10/11		 1.1.82
2024/10/04
 1.1.81
2024/09/30		 1.1.79
2024/09/23		 1.1.78
2024/09/13
Apache Spark참고 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 커넥터 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery 커넥터 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
자바 11 11 11 11 11
Conda 22.11 22.11 22.11 22.11 22.11
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

참고:

1. 다음 Dataproc Serverless 런타임은 다음과 같은 기본 문자 인코딩을 사용합니다.

  • 2.2: UTF-8
  • 2.0: ASCII
  • 1.2: UTF-8
  • 1.1: ASCII