Spark Engine 3.5
| 구성요소 | 3.5-dataproc-17 |
|---|---|
| Apache Spark | 3.5.0 |
| Hadoop 라이브러리 | 3.3.6 |
| Cloud Storage 커넥터 | 3.0.0 |
| 자바 | 11 |
| Python | 3.8.5 |
| Conda | 4.9.2 |
| R | 4.3.0 |
Spark Engine 3.1(지원 중단됨)
| 구성요소 | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop 라이브러리 | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage 커넥터 | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| 자바 | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(지원 중단됨)
Spark 2.4의 DPGKE 지원이 EOL되었습니다. 공개 이미지는 추가 지원 없이 계속 사용할 수 있습니다.
| 구성요소 | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Hadoop 라이브러리 | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage 커넥터 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| 자바 | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
정규화된 Spark Engine 출시 버전은 3.1-dataproc-[NUMBER] 또는 3.5-dataproc-[NUMBER](예: 3.1-dataproc-17 또는 3.5-dataproc-17)로 표시됩니다.
Spark 버전 형식은 다음 예시와 같이 별칭 형식으로 표시될 수도 있습니다.
3- Spark 주 버전이 3인 Spark Engine의 최신 버전3.5- Spark 주/부 버전이 3.5인 Spark Engine의 최신 버전dataproc-2.2- Compute Engine 기반 Dataproc2.2이미지와 호환되는 Spark Engine의 최신 버전latest- Spark Engine의 최신 버전