Google Dataproc은 Ubuntu, Debian, Rocky Linux 이미지 버전을 사용하여 운영체제, 빅데이터 구성요소, Google Cloud Platform 커넥터를 클러스터에 배포되는 하나의 패키지로 번들로 묶습니다. 자세한 내용은 Dataproc 버전 관리를 참조하세요.
기본 Dataproc 이미지 버전
Dataproc은 정식 버전(GA) 출시일 이후 기본 이미지 버전을 최신 정식 버전 Debian 기반 Dataproc으로 업데이트합니다.
지원되는 Dataproc 이미지 버전
Debian 이미지
Dataproc 클러스터에서 지원되는 Debian 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.
| 버전 | 최종 업데이트 | 출시 날짜 | 지원 만료일 | 사용 가능 기한 | 참고 |
|---|---|---|---|---|---|
| 2.2-debian12 | 2024/10/25 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 일반 안정화 출시 버전입니다. 이미지 버전 2.2가 2024년 9월 13일에 기본 이미지 버전이 됩니다. |
| 2.1-debian11 | 2024/10/25 | 2022/12/12 | 2024/12/31 | 2026/12/31 | 정식 출시 버전입니다. |
| 2.0-debian10 | 2024/10/25 | 2021/01/22 | 2024/07/31 | 2026/07/31 | 정식 출시 버전입니다. |
Ubuntu 이미지
Dataproc 클러스터에서 지원되는 Ubuntu LTS 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.
| 버전 | 최종 업데이트 | 출시 날짜 | 지원 만료일 | 사용 가능 기한 | 참고 |
|---|---|---|---|---|---|
| 2.2-ubuntu22 | 2024/10/25 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 정식 출시 버전입니다. |
| 2.1-ubuntu20 | 2024/10/25 | 2022/12/12 | 2024/12/31 | 2026/12/31 | 정식 출시 버전입니다. |
| 2.0-ubuntu18 | 2024/10/25 | 2021/01/22 | 2024/07/31 | 2026/07/31 | 정식 출시 버전입니다. |
Rocky Linux 이미지
Dataproc 클러스터에서 지원되는 Rocky Linux 기반 이미지 버전은 다음과 같습니다. 새로운 클러스터는 출시 이후 버전에 적용된 모든 하위 세부 패치를 포함하도록 생성됩니다.
| 버전 | 최종 업데이트 | 출시 날짜 | 지원 만료일 | 사용 가능 기한 | 참고 |
|---|---|---|---|---|---|
| 2.2-rocky9 | 2024/10/25 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 정식 출시 버전입니다. |
| 2.1-rocky8 | 2024/10/25 | 2022/12/12 | 2024/12/31 | 2026/12/31 | 정식 출시 버전입니다. |
| 2.0-rocky8 | 2024/10/25 | 2022/02/18 | 2024/07/31 | 2026/07/31 | 정식 출시 버전입니다. |
지원되지 않는 Dataproc 이미지 버전
다음 Dataproc 버전은 지원되지 않습니다. Dataproc은 이러한 버전으로 생성된 클러스터에 대한 업데이트 및 지원을 제공하지 않습니다. 지원되지 않는 버전으로 작성된 클러스터를 계속 실행할 수 있지만 지원되는 버전으로 작성된 새 클러스터로 교체하는 것이 좋습니다.
| 버전 | 포함 | 출시 날짜 | 최종 업데이트 | 참고 |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 2023/04/28 현재 지원되지 않습니다. 1.5.89-debian10/-ubuntu18/-rocky8이 최종 출시 버전입니다. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 커텍터 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2022/02/01 현재 지원되지 않습니다. 2.0.30-centos8이 최종 출시 버전입니다. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 2022/02/01 현재 지원되지 않습니다. 1.5.56-centos8이 최종 출시 버전입니다. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 2022/02/01부터 지원되지 않습니다. 1.4.80-debian10/-ubuntu18이 최종 출시 버전입니다. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | 2021/08/01 이후로 지원되지 않습니다. 1.3.95-debian10/-ubuntu18은 log4j2 취약점이 해결된 최종 출시 버전입니다. 참고: 이전에 출시된 버전은 취약하므로 업그레이드해야 합니다. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2020/07/10 현재 지원되지 않음. 1.4.33-debian9가 최종 출시 버전입니다. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 커넥터 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | 2020/07/10 현재 지원되지 않음. 1.3.62-debian9가 최종 출시 버전입니다. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 커넥터 1.6.10-hadoop2 BigQuery 커넥터 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 2020/07/10 현재 지원되지 않음. 1.2.102-debian9가 최종 출시 버전입니다. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 커넥터 1.6.10-hadoop2 BigQuery 커넥터 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 2019/10/01부터 지원되지 않습니다. 1.1.121-debian9가 최종 출시 버전입니다. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 커넥터 1.6.10-hadoop2 BigQuery 커넥터 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | GA 이미지의 처음 출시 버전. 2019/04/01 현재 지원되지 않음. 1.0.119-debian9가 최종 출시 버전입니다. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 커넥터 1.5.1-hadoop2 BigQuery 커넥터 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 베타 이미지의 두 번째 출시 버전입니다. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 커넥터 1.5.1-hadoop2 BigQuery 커넥터 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc 베타 출시. Spark 1.5는 Hive 1.2를 대상으로 컴파일되었습니다. |