Spark エンジン 3.5
| コンポーネント | 3.5-dataproc-17 |
|---|---|
| Apache Spark | 3.5.0 |
| Hadoop ライブラリ | 3.3.6 |
| Cloud Storage コネクタ | 3.0.0 |
| Java | 11 |
| Python | 3.8.5 |
| Conda | 4.9.2 |
| R | 4.3.0 |
Spark エンジン 3.1
| コンポーネント | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop ライブラリ | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage コネクタ | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark エンジン 2.4（非推奨）
Spark 2.4 は、DPGKE でのサポートの EOL に達しました。公開イメージは引き続き利用できますが、今後のサポートはありません。
| コンポーネント | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Hadoop ライブラリ | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage コネクタ | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
完全修飾された Spark エンジン リリース バージョンは、3.1-dataproc-[NUMBER] または 3.5-dataproc-[NUMBER] と表されます（例: 3.1-dataproc-17、3.5-dataproc-17）。
Spark バージョンの形式は、次の例に示すように、エイリアス形式で表すこともできます。
3- Spark メジャー バージョン 3 のSpark エンジンの最新バージョン。3.1- Spark major.minor バージョン 3.1 のSpark エンジンの最新バージョン。3.5- Spark major.minor バージョン 3.5 のSpark エンジンの最新バージョン。dataproc-2.0- Compute Engine の2.0イメージ上の Dataproc と互換性のある Spark エンジンの最新バージョン。dataproc-2.2- Compute Engine の2.2イメージ上の Dataproc と互換性のある Spark エンジンの最新バージョン。latest- Spark エンジンの最新バージョン。