GKE 기반 Dataproc 출시 버전

Spark Engine 3.5

구성요소 2.4-dataproc-17
Apache Spark 3.5.0
Hadoop 라이브러리 3.3.6
Cloud Storage 커넥터 3.0.0
Java 11
Python 3.8.5
Conda 4.9.2
R 4.3.0

Spark Engine 3.1

구성요소 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Hadoop 라이브러리 3.2.3 3.2.3 3.2.3 3.2.3
Cloud Storage 커넥터 hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Spark Engine 2.4(지원 중단됨)

Spark 2.4의 DPGKE 지원이 EOL되었습니다. 공개 이미지는 추가 지원 없이 계속 사용할 수 있습니다.

구성요소 2.4-dataproc-17 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Hadoop 라이브러리 2.10.2 2.10.2 2.10.2 2.10.2
Cloud Storage 커넥터 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

정규화된 Spark Engine 출시 버전은 3.1-dataproc-[NUMBER] 또는 3.5-dataproc-[NUMBER](예: 3.1-dataproc-17 또는 3.5-dataproc-17)로 표시됩니다.

Spark 버전 형식은 다음 예시와 같이 별칭 형식으로 표시될 수도 있습니다.

  • 3 - Spark 주 버전이 3인 Spark Engine의 최신 버전
  • 3.1 - Spark 주/부 버전이 3.1인 Spark Engine의 최신 버전
  • 3.5 - Spark 주/부 버전이 3.5인 Spark Engine의 최신 버전
  • dataproc-2.0 - Compute Engine 기반 Dataproc 2.0 이미지와 호환되는 Spark Engine의 최신 버전
  • dataproc-2.2 - Compute Engine 기반 Dataproc 2.2 이미지와 호환되는 Spark Engine의 최신 버전
  • latest - Spark Engine의 최신 버전